Charts

Der Einstieg in hochvernetzte Graphdaten und deren Auswertung gelingt am besten dann, wenn man die Daten darin auch interpretieren und validieren kann. Denn was nutzt die schönste Query, wenn man das Resultat aufgrund der eigenen Unkenntnis weder Bestätigen noch Verwerfen kann?

Aus diesem Grund bieten sich die Deutschen Charts sehr gut als Datengrundlage an. Wenn die Abfrage nach dem Titel, welcher sich die längste Zeit auf Platz 1 befand Despacito lautet, dann bluten uns nicht nur die Ohren, sondern wir wissen auch, dass es stimmt.

Die CSV-Datei enthält Einträge im Format week;pos;title;artist;video, ist ca. 15MB groß und wurde aus den Daten der Seite Offizielle Deutsche Charts generiert. Download

date: Das fortlaufende Datum ab dem 07.01.1977
pos: Die Wochenplatzierung
title: Den Titel des Lieds
artist: Den Namen der Interpreten / Gruppe
video: Falls vorhanden den Youtube-Link zum Video

Cypher-Magie

Zum Importieren der Daten aus der CSV Datei in eine Graphdatebank sind folgende Cypher-Befehle notwendig:

create constraint
for (a:Artist)
require a.name is unique;

create constraint
for ()-[pl:IS_PLACED]->()
require pl.date is not null;

create index
for ()-[pl:IS_PLACED]->()
on (pl.date);

create constraint
for (p:Position)
require p.nr is unique;

create constraint
for (t:Title)
require t.name is not null;

create index
for (t:Title) on (t.name);

Durch die Festlegung von Bedingungen wie einzigartige Attribute (Primärschlüssel) können die späteren Befehle um ein vielfaches beschleunigt werden.

foreach (i in range(1, 100, 1) |
create (p:Position) set p.nr = i);

Die Knoten der einzelnen Platzierungen können unabhängig von der CSV-Datei generiert werden.

load csv with headers from 'file:///csv.txt' as line
fieldterminator ';'
merge (a:Artist {name: line.artist});

load csv with headers from 'file:///csv.txt' as line
fieldterminator ';'
match (a:Artist)
where a.name=line.artist
with a, line
merge (a)-[:PLAYS]->(t:Title {name: line.title})
on create set t.video=line.video;

Zunächst werden nun die Interpreten importiert. Durch die Bedingung (Constraint) und dem Merge-Befehl entstehen keine Dopplungen. Anschließend werden die jeweiligen Lieder geladen. Die Lieder zweier unterschiedlicher Interpreten können den gleichen Titel haben, weswegen hier eine Bedingung nicht leicht ist und es so zu Performanzproblemen kommt. Durch den erweiterten Merge-Befehl hin zu einem ganzen Pfad werden Dopplungen vermieden. Sollte ein neues Lied der Datenbank hinzugefügt werden, so wird ggf. auch der Videolink ergänzt.

load csv with headers from 'file:///csv.txt' as line
fieldterminator ';'
match (a:Artist)-[:PLAYS]->(t:Title)
where a.name=line.artist
and t.name = line.title
with t, line, [item in split(line.date, ".") | tointeger(item)] as dateComp
match (p:Position)
where p.nr = tointeger(line.pos)
create (t)-[pl:IS_PLACED]->(p)
set pl.date=datetime({day: dateComp[0], month: dateComp[1], year: dateComp[2], hour: 12});

Die Zuordnung von Liedern zu Platzierungen in einer Woche ist etwas schwieriger, da Platzierung und Datum voneinander abhängen. In klassischen relationalen Datenbanken wäre eine Hilfstabelle mit kombiniertem Primärschlüssel sinnvoll, im Graph nutzt man dazu entweder einen Hilfsknoten mit drei Kanten, welcher den Titel mit einem Datum und einer Platzierung verbindet, oder wir attributieren die Kante zwischen Titel und Platzierung wie hier mit der Angabe des Datums. Da ein Titel z.B. auch mehrere Wochen auf Platz 1 der Charts verweilen kann, sind so zwischen Titel und Platzierung mehrere Kanten möglich.

Fragen über Fragen

Eine Datenbank macht erst dann Spaß, wenn man sie ausgiebig befragt.

// Charts in Range
// Gibt die aktuellen Charts in einem Zeitfenster (hier vom 25.05. bis zum 01.06.1994) an.
// In dem Zeitraum muss mindestens ein Wochen-Knoten (Donnerstag) liegen.
match (a:Artist)-[:PLAYS]->(t:Title)-[:IS_PLACED]->(pl:Place)-[:IN_WEEK]->(w:Week)
where w.date < datetime("1994-06-01")
and w.date > datetime("1994-05-25")
with a, t, pl
match (pl)-[:ON_POSITION]->(p:Position)
return distinct a.name as Artist, t.name as Title, min(p.nr) as Position order by Position asc

// Title on #1
// Gibt die Lieder mit der häufigsten Platz 1 Positionierung aus.
match (a:Artist)-[:PLAYS]->(t:Title)-[:IS_PLACED]->(p:Position)
where p.nr=1
return a.name as Artist, t.name as Title, count(p) as WeeksOn1 order by WeeksOn1 desc

// Artist on #1
// Gibt die Interpreten mit der häufigsten Platz 1 Positionierung aus.
match (a:Artist)-[:PLAYS]->(:Title)-[:IS_PLACED]->(p:Position)
where p.nr=1
return a.name as Artist, count(p) as WeeksOn1 order by WeeksOn1 desc

// Common Artist
// Gibt die Interpreten mit der häufigsten Chartplatzierung aus.
match (a:Artist)-[:PLAYS]->(:Title)-[:IS_PLACED]->(p:Position)
return a.name as Artist, count(p) as WeeksInCharts order by WeeksInCharts desc

// Common Title
// Gibt die Lieder mit der häufigsten Chartplatzierung aus.
// (Benutzung auf eigene (Ohrwurm-) Gefahr!)
match (a:Artist)-[:PLAYS]->(t:Title)-[:IS_PLACED]->(p:Position)
return a.name as Artist, t.name as Title, count(p) as WeeksInCharts order by WeeksInCharts desc

// One-Hit-Wonder
// Gibt die "One-Hit-Wonder" aus.
match (a:Artist)-[:PLAYS]->(t:Title)
with a, count(t) as cnt
where cnt=1
match (a)-[:PLAYS]->(t:Title)
return a.name as Artist, t.name as Title

// One-Hit-Wonder on #1
// Gibt nur die "One-Hit-Wonder" aus, deren Titel Platz 1 erreicht hat.
match (a:Artist)-[:PLAYS]->(t:Title)
with a, count(t) as cnt
where cnt=1
match (a)-[:PLAYS]->(t:Title)-[:IS_PLACED]->(p:Position)
where p.nr=1
return distinct a.name as Artist, t.name as Title

// '80 Videos
// Gibt eine Liste aller Lieder der 80er aus, welche in den Top 10 waren und über einen Video-Link verfügen.
// Damit ist der Karaoke-Abend sicher.
match (a:Artist)-[:PLAYS]->(t:Title)-[pl:IS_PLACED]->(p:Position)
where t.video is not null
and pl.date < datetime("1989-12-31")
and pl.date > datetime("1980-01-01")
and p.nr <= 10
return distinct a.name as Artist, t.name as Title, t.video as Link

Es gibt noch viele lustige und interessante Abfragen. Wenn Sie noch eine Ergänzung haben, mailen Sie mir gerne. Später folgt auch noch der Code zum generieren der CSV-Datei.