Fünf Dinge, die wir mit OpenRefine nicht (gerne) machen

Wir haben uns in den letzten Wochen im Blog ausgiebig mit OpenRefine beschäftigt und wollen einmal festhalten, wozu es sich unserer Ansicht nach nicht eignet.

Batchverarbeitung

Die Idee von Batchverarbeitung von Daten mit OpenRefine (Automating OpenRefine) ist relativ simpel: es wird eine Datei mit OpenRefine bearbeitet und die History anschließend mit einem Programm wie openrefine-batch auf die anderen Dateien angewendet.

Das funktioniert, solange die Dateien alle genau die gleichen Strukturen und Inhalte haben (Happy Path). Problematisch wird es bei der Fehlerbehandlung oder Verzweigungen. Wir haben in unserem Artikel Findbuch Daten mit OpenRefine wiederverwenden über die Anwendung der History auf weitere Findbücher berichtet. Dort hatten wir unter anderem das Problem, dass die Kopfzeilen eine andere Struktur hatten. Das lässt sich zwar in vielen Fällen mit Kontrollstrukturen in OpenRefine abbilden, jedoch wird die Umsetzung schnell komplex.

Big Data

Mit Big Data meinen wir hier Datensätze, die auf Grund ihrer Größe nicht im Arbeitsspeicher (RAM) gehalten werden können. Je nach Rechner, kann das schon bei Datensätzen mit einer Dateigröße unter einem Gigabyte der Fall sein.

OpenRefine wurde so entwickelt, dass es ohne externe Datenbank funktioniert. Stattdessen werden die Daten im Speicher vorgehalten (siehe Technology Stack). Dadurch können und sollen Datensätze ab einer bestimmten Größe mit OpenRefine nicht mehr verarbeitet werden. ¹

In der Dokumentation zu OpenRefine steht, dass schon ab einer Dateigröße von mehr als 50 Megabyte, die Standardeinstellungen von OpenRefine anzupassen sind (Increasing memory allocation).

XML Transformationen

OpenRefine kann XML einlesen, verarbeiten und ausgeben, es kann Daten als Tabelle darstellen und mit dem Konzept von Records baumartige Strukturen zugänglich machen.

Das Problem ist, dass XML noch “mehr” kann. In einer XML Datei können mehrere unterschiedliche Tabellen, Bäume und Netze gespeichert werden. Diese lassen sich als Gesamtwerk in OpenRefine nicht sinnvoll darstellen und daher nicht komfortabel bearbeiten.

Bei der Verarbeitung von XML mit OpenRefine kommt es also auf die Struktur der Daten in der XML Datei an. Daher verwenden wir besonders bei XML Transformationsaufgaben häufig andere Technologien und Tools, die explizit für die Arbeit mit XML entwickelt wurden.

Tabellenkalkulation

Die folgende Tabelle ist in einer Software für Tabellenkalkulation wie MS Excel oder LibreOffice Calc in Sekunden erzeugt. Als Bonus kann die Summenzeile als Formel definiert werden, die bei Änderungen automatisch die Werte aktualisiert.

In OpenRefine ist das Hinzufügen einer Summenzeile im Vergleich ziemlich aufwendig, inklusive Transponieren der Tabelle, da nur neue Spalten hinzugefügt werden können. Eine automatische Aktualisierung der Summenzeile via Formel ist aktuell nicht möglich.

Zeilenübergreifende Operationen

OpenRefine arbeitet spaltenorientiert und tut sich schwer damit zeilenübergreifend zu agieren. Ein Beispiel ist die Berechnung der kumulierten Werte wie in der folgenden Tabelle.

Das Problem ist, dass es in OpenRefine keine (direkte) Möglichkeit gibt, auf eine Spalte zuzugreifen. Der Zugriff auf die aktuelle Zeile mit row.cells funktioniert problemlos!

Hierfür gibt es zwei Workarounds:

1. Verwendung der cross() Funktion.
2. Die Tabelle zu einem einzelnen Recordeintrag machen. Innerhalb eines “record” lässt sich via row.record.cells auf alle Spalten des “record” zugreifen.

Beide Varianten sind jedoch wenig intuitiv.

Fazit

OpenRefine kann schnell zu “Maslows Hammer” werden. Mit diesem Artikel wollen wir einige Probleme zeigen, die sich nach unserer Erfahrung mit OpenRefine nicht oder im Vergleich mit anderen Werkzeugen nur sehr aufwendig lösen lassen.

Nachtrag: der Artikel wurde auch auf der OpenRefine Dev Mailingliste kommentiert.