Evaluation | FDMLab@LABW

GND Hierarchieinformationen zur Verbesserung der Erschließung

Tue, 07 Mar 2023 00:00:00 +0000

In der Gemeinsamen Normdatei (GND) sind für Sachbegriffe Hierarchieinformationen enthalten. In diesem Blogbeitrag berichten wir, wie wir diese Informationen verwenden, um die Verschlagwortung von relevanten Akten für die Provenienzforschung zu verbessern.

Wir berichteten bereits, wie wir ein Named-entity Recognition Modell mit Starthilfe durch die Gemeinsame Normdatei trainieren und wie wir die dadurch extrahierten Sachbegriffe normalisieren und mit der GND Sachbegriffen verknüpfen.

In diesem Blogbeitrag geht es um den letzten Workflowschritt, nämlich die Anreicherung von Oberbegriffen aus der GND zur Verbesserung der Verschlagwortung. ¹

--- title: Workflow config: look: handDrawn theme: neutral --- flowchart LR filtern["1. Filtern"] ner["2. NER"] normalisieren["3. Normalisieren"] gnd_abgleich["4. GND Abgleich"] begriffe_nachladen["5. Oberbegriffe"] filtern --> ner --> normalisieren --> gnd_abgleich --> begriffe_nachladen style begriffe_nachladen stroke:#000,stroke-width:4px

Schritt 5: Oberbegriffe nachladen

Wir haben 1.753 Begriffe aus der GND verlinkt. Aus diesen wollen wir basierend auf den Hierarchieinformationen in der GND ein hierarchisches Netzwerk aufbauen. Dafür müssen für die 1.753 Begriffe alle verknüpften Oberbegriffe sowie deren Oberbegriffe usw., nachgeladen werden. Da das potentiell ein recht großes Netzwerk werden könnte, haben wir das Netzwerk mit einer lokalen Kopie der GND in ihrer LOD-Form in Oxigraph berechnet. Dafür wurden mit SPARQL die relevanten Knoten und Verbindungen extrahiert, anschließend mit NetworkX zu einem Netzwerk zusammengefügt, und mit PyVis visualisiert.

Konkret haben wir alle Knoten vom Typ SubjectHeading und den entsprechenden Subtypen geladen. Als Verbindungen haben wir broaderTerm, broaderTermGeneral, broaderTermGeneric, broaderTermInstantial, broaderTermPartitive, broaderTermWithMoreThanOneElement und complexSeeReferenceSubject verwendet.

Dieses Netzwerk verwendeten wir zum einen für unsere Analysen. Zum anderen extrahierten wir daraus einen Teilgraphen mit den für uns relevanten Begriffen.

Die folgenden Analysen basieren auf der Linked Open Data Variante der GND. Abweichungen von den tatsächlichen Daten in der GND sind daher möglich.

Bildschirmfoto der ersten Version unseres GND Teilgraphen.

In dem von uns in Abbildung 1 gezeigten, extrahierten Teilgraphen sind zwar hierarchische Strukturen zu erkennen. Insgesamt sind jedoch sehr viele Einzelknoten um den Wurzelknoten herum zu sehen, und die üblichen Algorithmen zur Darstellung von Hierarchien weigerten sich das vermeintlich hierarchische Netzwerk verständlich darzustellen.

Im Folgenden besprechen wir die Probleme, über die wir gestolpert sind und prüfen, ob einige (problematische) Eigenschaften unseres extrahierten Teilgraphen auch im Gesamtnetzwerkes aller Sachbegriffe zu finden sind.

Typen von Oberbegriffen

Bildschirmfoto der Unterklassen von Authority Resources in der GND Ontologie.

In Abbildung 2 sind noch einmal die Unterklassen (Typen) von Normdatenressourcen (Authority Resource) in der GND Ontologie gezeigt. Wir arbeiten mit Schlagworten (SubjectHeading) und den zugehörigen Unterklassen.

Die Diagramme wurden mit unserer experimentellen Webanwendung zur GND Hierarchie Visualisierung von Sachbegriffen erstellt. Hier die Legende:

flowchart LR initial(["Fokussierter Begriff"]):::initial broader["Oberbegriff"] initial --> broader broaderMarked["Oberbegriff mit anderem Typ"]:::nonHeading initial --> broaderMarked narrower["Unterbegriff"] narrower --> initial similar["#Auml;hnlicher Begriff"] initial <-.-> similar broader <-.-> similar broaderMarked <-.-> similar classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000; classDef nonHeading fill:#FFF,stroke:#F04D0E,stroke-width:3px,color:#000;

Wir hatten im letzten Blogbeitrag schon den Perserteppich erwähnt, der über complexSeeReferenceSubject mit den Begriffen Teppich und Iran verknüpft ist. Im folgenden Diagramm haben wir einige weitere Beispiele für Begriffe, die über Komposita definiert sind. Darüber werden als Oberbegriffe auch GND Konzepte nachgeladen, die nicht vom Typ Subject heading oder einem Untertypen davon sind. Diese können zum Beispiel vom Typ oder einem Untertypen von Conference or Event, Corporate Body, Person, Place or geographic name oder Work sein.

flowchart LR 7505070-5(["Perserteppich"]):::initial click 7505070-5 href "https://lobid.org/gnd/7505070-5" "7505070-5" _blank 4059482-8["Teppich"] click 4059482-8 href "https://lobid.org/gnd/4059482-8" "4059482-8" _blank 4027653-3["Iran"]:::nonHeading click 4027653-3 href "https://lobid.org/gnd/4027653-3" "4027653-3" _blank 7608344-5(["Venustempel"]):::initial click 7608344-5 href "https://lobid.org/gnd/7608344-5" "7608344-5" _blank 11876800X["Venus, Göttin"]:::nonHeading click 11876800X href "https://lobid.org/gnd/11876800X" "11876800X" _blank 4059416-6["Tempel"] click 4059416-6 href "https://lobid.org/gnd/4059416-6" "4059416-6" _blank 7509659-6(["Osterweiterung / Europäische Union"]):::initial click 7509659-6 href "https://lobid.org/gnd/7509659-6" "7509659-6" _blank 4128080-5["Erweiterung"] click 4128080-5 href "https://lobid.org/gnd/4128080-5" "4128080-5" _blank 4075739-0["Osteuropa"]:::nonHeading click 4075739-0 href "https://lobid.org/gnd/4075739-0" "4075739-0" _blank 5098525-5["Europäische Union"]:::nonHeading click 5098525-5 href "https://lobid.org/gnd/5098525-5" "5098525-5" _blank 7505070-5 -->|complexSeeReferenceSubject| 4059482-8 7505070-5 -->|complexSeeReferenceSubject| 4027653-3 7608344-5 -->|complexSeeReferenceSubject| 11876800X 7608344-5 -->|complexSeeReferenceSubject| 4059416-6 7509659-6 -->|complexSeeReferenceSubject| 4128080-5 7509659-6 -->|complexSeeReferenceSubject| 4075739-0 7509659-6 -->|complexSeeReferenceSubject| 5098525-5 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000; classDef nonHeading fill:#FFF,stroke:#F04D0E,stroke-width:3px,color:#000;

Dies betrifft jedoch nicht nur die Verbindungen vom Typ complexSeeReferenceSubject. In den folgenden Diagrammen ist das Beispiel der Thora und des islamische Feiertags Maulid an-Nabi gezeigt. Hier werden jeweils Sachbegriffe mit Werken über Verbindungen vom Typ broaderTermGeneral verknüpft.

flowchart LR 4226122-3(["Thora"]):::nonHeading click 4226122-3 href "https://lobid.org/gnd/4226122-3" "4226122-3" _blank 7849405-9["Thorakrone"] click 7849405-9 href "https://lobid.org/gnd/7849405-9" "7849405-9" _blank 4590779-1["Thorakapsel"] click 4590779-1 href "https://lobid.org/gnd/4590779-1" "4590779-1" _blank 4457982-2["Thorawimpel"] click 4457982-2 href "https://lobid.org/gnd/4457982-2" "4457982-2" _blank 4617346-8["Thoramantel"] click 4617346-8 href "https://lobid.org/gnd/4617346-8" "4617346-8" _blank 7526823-1["Thorazeiger"] click 7526823-1 href "https://lobid.org/gnd/7526823-1" "7526823-1" _blank 4232170-0["Thoraschrein"] click 4232170-0 href "https://lobid.org/gnd/4232170-0" "4232170-0" _blank 4185330-1["Thorarolle"] click 4185330-1 href "https://lobid.org/gnd/4185330-1" "4185330-1" _blank 7849405-9 -->|broaderTermGeneral| 4226122-3 4590779-1 -->|broaderTermGeneral| 4226122-3 4457982-2 -->|broaderTermGeneral| 4226122-3 4617346-8 -->|broaderTermGeneral| 4226122-3 7526823-1 -->|broaderTermGeneral| 4226122-3 4232170-0 -->|broaderTermGeneral| 4226122-3 4185330-1 -->|broaderTermGeneral| 4226122-3 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000; classDef nonHeading fill:#FFF,stroke:#F04D0E,stroke-width:3px,color:#000;

flowchart LR 7566591-8(["Maulid an-Nabi"]):::initial click 7566591-8 href "https://lobid.org/gnd/7566591-8" "7566591-8" _blank 4310274-8["Maulid"]:::nonHeading click 4310274-8 href "https://lobid.org/gnd/4310274-8" "4310274-8" _blank 4121583-7["Religiöses Fest"] click 4121583-7 href "https://lobid.org/gnd/4121583-7" "4121583-7" _blank 7566591-8 -->|broaderTermGeneral| 4310274-8 7566591-8 -->|broaderTermInstantial| 4121583-7 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000; classDef nonHeading fill:#FFF,stroke:#F04D0E,stroke-width:3px,color:#000;

Nach unseren Analysen kommen wir auf 558 Knoten mit mindestens einem Oberbegriff, der nicht vom Typ SubjectHeading ist. Das ist bei 204.560 Sachbegriffen ein recht kleiner Anteil von circa 0,27 Prozent. Die entsprechenden Oberbegriffe mit anderem Typ müssen beim Netzwerkaufbau und der anschließenden Analyse jedoch mit berücksichtigt werden.

Mehrere Oberbegriffe

Die Verknüpfung von mehreren Oberbegriffen sorgt für Probleme bei der Berechnung von Hierarchielayouts. Wir haben zur Visualisierung unseres Teilgraphen die Anzahl an Oberbegriffen pro Knoten auf einen Oberbegriff begrenzt. Dadurch verlieren wir zwar Informationen in der Visualisierung, können den Teilgraphen jedoch besser visuell inspizieren.

Keine Oberbegriffe

In unserem Teilgraphen haben etwa 25 Prozent der Begriffe keinen Oberbegriff. Das hat unter anderem damit zu tun, dass die GND in vielen Bereichen entweder gar keine Hierarchieinformationen beinhaltet, oder sie inkonsequent gepflegt werden.

Zu den in unserem Projekt verwendeten Begriffen ohne Hierarchieinformationen gehören zum Beispiel Akte, Archivalie, Antiquität, Feuerzeug, Kamm, Nähzeug, Säge, …

Analyse Subgraph

Mit den oben beschriebenen Erfahrungen und Anpassungen konnten wir aus dem Netzwerk eine darstellbare Hierarchie erzeugen, die wir visuell inspizieren können. Dabei ist uns aufgefallen, dass die Hierarchie in vielen Bereichen ziemlich flach ausfällt. Abbildung 3 zeigt einen kleinen Ausschnitt der Hierarchie.

Bildschirmfoto der zweiten Version unseres GND Teilgraphen als Hierarchie.

Der Radius der grauen Knoten gibt ungefähr an, wie viele Akten mit diesem Begriff direkt gefunden werden würden. Die Skalierung musste jedoch nach unten auf 5 Treffer und oben auf 50 Treffer begrenzt werden. Ansonsten wären Kreise mit einem kleineren Durchmesser nicht mehr sichtbar, und einzelne Begriffe mit mehr als 1.000 betroffenen Akten würden große Teile des Graphen überdecken.

Die roten Knoten zeigen Begriffe, für die wir keine direkten Treffer in den Akten haben. Diese wurden über die Hierarchieinformationen der GND als zusätzliche Begriffe nachgeladen. Diese zusätzlichen Begriffe machen in manchen Bereichen Sinn.

In den Bereichen Biologie und Chemie, die sehr ausführliche und tiefe Hierarchieinformationen haben, sollten die Begriffe in unserem Teilgraphen jedoch reduziert werden. So ist es fachlich zwar korrekt, dass Messing eine Kupferlegierung ist, die zu den Buntmetalllegierungen gehört, welche zu den Schwermetallegierungen gehört, welches eine Legierung ist… diese Informationen bieten in unserem Kontext jedoch keinen Mehrwert.

Hier werden wir in Nachfolgearbeiten versuchen, mit verschiedenen Algorithmen aus der Netzwerkanalyse “überflüssige” Knoten wieder aus der Hierarchie zu entfernen.

Bildschirmfoto der dritten Version unseres GND Teilgraphen als Hierarchie mit Einfärbungen.

In einer weiteren Verbesserung der Visualisierung der Hierarchie in unserem GND Teilgraphen in Abbildung 4 haben wir einzelne Knoten zusätzlich eingefärbt.

Orange: Gegenstand
Grün: Material
Blau: Marke/Herkunft
Lila: Stil
Gemischt Rot: mehrere Kategorien

So konnten bei der visuellen Prüfung schon einige Probleme und fehlerhafte GND Abgleiche identifiziert werden, die in der Liste der mehr als 67.500 Einzelbegriffe untergegangen waren. In Abbildung 4 ist zum Beispiel das Glas in einem gemischten Rot markiert, weil der Begriff sowohl für den Gegenstand Glas, als auch für das Material Glas verwendet wurde. ²

Analyse GND SubjectHeading Graph

Wir haben uns gefragt, ob wir bei der Extraktion unseres GND Teilgraphen Fehler gemacht haben, oder einfach Pech mit unseren Daten hatten, oder ob sich manche Eigenschaften unseres GND Teilgraphen auch im großen Graphen der GND SubjectHeadings wiederfinden.

Daher haben wir eine oberflächliche Analyse des SubjectHeadings Graphen durchgeführt.

Komponenten und Größen

Streudiagramm zur Darstellung der Eigenschaften von Komponenten im GND SubjectHeading Graph.

Unsere erste Feststellung war, dass der Gesamtgraph der GND SubjectHeadings mit 204.560 Knoten in 47.388 Teilgraphen (Komponenten) zerfällt, die nicht miteinander verbunden sind.

In Abbildung 5 ist ein Streudiagramm gezeigt, wo auf der X-Achse die Größe der Komponente und auf der Y-Achse die Anzahl an Komponenten dieser Größe dargestellt ist. Die Größe des Symbols zeigt, wie viele unterschiedliche (Sub)Typen von SubjectHeading betroffen sind.

Auf Grund der enormen Größenunterschiede ist das Diagram logarithmisch skaliert, so dass die Interpretation schwierig(er) ist.

Der Stern ganz links oben stellt 41.465 Komponenten dar, die jeweils nur aus einem Knoten bestehen. Dies umfasst die Typen CharactersOrMorphemes (2.912), EthnographicName (1.257), GroupOfPersons (158), HistoricSingleEventOrEra (635), Language (5), MeansOfTransportWithIndividualName (8), NomenclatureInBiologyOrChemistry (15.132), ProductNameOrBrandName (422), SoftwareProduct (134), SubjectHeading (12), SubjectHeadingSensoStricto (20.900).

Der Stern ganz rechts unten stellt eine Komponente mit einer Größe von 140.105 Knoten dar, welche die Typen CharactersOrMorphemes (261), EthnographicName (2.510), GroupOfPersons (589), HistoricSingleEventOrEra (4.031), Language (5.942), MeansOfTransportWithIndividualName (1.479), NomenclatureInBiologyOrChemistry (11.428), ProductNameOrBrandName (6.994), SoftwareProduct (8.056), SubjectHeading (8.220) und SubjectHeadingSensoStricto (91.381) umfasst.

Anteil von Komponenten bestimmter Größen

Aus dem Diagramm in Abbildung 5 lässt sich ablesen, dass der Graph nicht vollständig verbunden ist und sich in zwei Extreme verteilt. Viele Knoten sind gar nicht, oder nur wenig in Hierarchien eingebunden, andere sind in einem Netzwerk mit 140.105 Knoten zusammengefasst. In dem Diagramm in Abbildung 6 ist dies noch einmal visuell dargestellt. Der letzte große Teilgraph mit den 140.105 Knoten ist im Diagramm abgeschnitten.

Diagramm zur kumulierten Darstellung des prozentualen Anteils von Komponenten bestimmter Größen.

Auf der X-Achse ist wieder die Größe der Komponenten abgebildet und auf der Y-Achse der prozentuale Anteil an Knoten, den Komponenten dieser Größe im Gesamtgraphen innehaben.

Etwa 20 Prozent der Knoten haben keine Hierarchieinformationen.
Etwa 30 Prozent der Knoten sind in Teilgraphen mit weniger als 20 Knoten verbunden.
Etwa 68 Prozent der Knoten sind in einem Teilgraphen mit 140.105 Knoten zu finden.

Tiefe der Hierarchie

Es wäre zu erwarten, dass mit Zunahme der Größe der Komponenten auch die Tiefe der Hierarchie steigt. Daher haben wir in einem Boxplot in Abbildung 7 die maximale Tiefe der Hierarchie jeder Komponente analysiert und sortiert nach Komponentengröße ausgewertet.

Boxplot zur Darstellung der Verteilung der max. Tiefe pro Komponentengröße.

Prinzpiell steigt die Tiefe der Hierarchie mit steigender Komponentengröße etwas. Jedoch wäre bei einer Komponente mit 114 Knoten mehr als 2 Hierarchiestufen zu erwarten. Oder bei einer Komponente mit 140.105 Knoten mehr als 13 Hierarchiestufen.

Kindknoten pro Knoten

Wenn es relativ wenig Hierachiestufen gibt, liegt die Vermutung nahe, dass es in den einzelnen Komponenten Knoten gibt, die sehr viele direkte Unterknoten haben. Daher haben wir noch einmal die Anzahl an Kindknoten pro Knoten analysiert und sortiert nach Komponentengröße in einem Boxplot in Abbildung 8 ausgewertet.

Boxplot zur Darstellung der Verteilung der Anzahl von Kindknoten pro Komponentengröße.

Die graue Linie markiert die maximale Anzahl an Kindknoten, die ein Knoten in einer Komponente einer bestimmten Größe haben kann. Auffällig ist, dass es bei vielen Komponenten Knoten gibt, die nahe an dieser Grenze liegen. Die Komponente besteht dann aus einem Oberknoten mit dem (fast) alle restlichen Knoten der Komponente verbunden sind.

Interessant sind auch die drei Knoten in der größten Komponente, die mehr als 1.000 direkte Kindknoten haben. Hierbei handelt es sich um eine große Anzahl an Verbindungen des Typs Broader term (instantial), die im GND Explorer als “Ist ein Beispiel für andere Entität” angezeigt werden.

Fazit

Nach anfänglichen Schwierigkeiten konnten wir eine für uns in großen Teilen brauchbare Hierarchie aus der GND extrahieren, die wir für unser Projekt weiter bearbeiten können.

Wir waren in unserem Teilgraphen verwundert über die doch vielen Begriffe, die ohne Hierarchieinformationen in der GND liegen. Mit unserer Analyse des Gesamtgraphen konnten wir bestätigen, dass dies wohl ein generelles Problem bei GND Sachbegriffen ist.

Auch sind die Hierarchien in unserem Teilgraphen selbst relativ flach, was sich bei der Analyse des Gesamtgraphen ebenfalls als Eigenschaft der GND bestätigte.

Alternativ könnte es sich auch um ein systematisches Problem in unserer LOD Variante der GND oder unserer Auswahl von Verbindungsarten zwischen GND Sachbegriffen liegen. Wir konnten in unseren Stichproben jedoch keine Hinweise auf solche Fehler finden.

Es würde sich jetzt anbieten die Analyse ausführlicher zu gestalten und dabei zum Beispiel zusätzlich GND Sachgruppen, die einzelnen Subtypen von SubjectHeading, sowie die unterschiedlichen Verbindungsarten weiter zu analysieren. Dies würde jedoch den Rahmen unseres aktuellen Projektes übersteigen.

Prinzipiell kommt es nach unseren Beobachtungen darauf an, in welchem (Fach-)Bereich man sich innerhalb der GND Sachbegriffen bewegt. So fanden wir für unseren Anwendungsfall die Hierarchieinformationen für Haushaltsgegenstände unzureichend, die zu Musikinstrumenten passend und hilfreich, und die für Begriffe aus der Biologie und Chemie zu ausführlich.

Details zur Motivation und unserem generellen Vorgehen haben wir schon unter NER und GND zur Verbesserung der Erschließung berichtet. ↩︎
Details zum Glas als Material und Gegenstand, sowie zu den Kategorien, finden sich im Artikel NER und GND zur Verbesserung der Erschließung. ↩︎

Named-entity Recognition und Gemeinsame Normdatei zur Verbesserung der Erschließung

Tue, 21 Feb 2023 00:00:00 +0000

Das FDMLab unterstützt das Projekt Provenienzforschung im Landesarchiv bei der Verbesserung der Auffindbarkeit von relevanten Akten. In diesem Blogbeitrag fassen wir unsere Erfahrungen beim Einsatz von Named-entity Recognition (NER) zur Extraktion von spezifischen Sachbegriffen und der Verknüpfung dieser Sachbegriffe mit der Gemeinsamen Normdatei (GND) zusammen.

Wir berichteten bereits in NER Modell mit GND Starthilfe trainieren, wie wir ein Experiment zum Trainieren eines NER Modells zur Erkennung von Objekten, Kunst-, Kultur- und Alltagsgegenständen in den Erschließungsdaten bestimmter Bestände durchführten. ¹

Diese Vorarbeiten für das Projekt Provenienzforschung wurden im Januar produktiv umgesetzt, so dass wir über unsere ersten Ergebnisse und Erfahrungen berichten können.

Motivation: Volltextsuche vs Verschlagwortung

In den Findmitteln des Landesarchives gibt es in bestimmten Beständen umfangreiche Erschließungsdaten zu Objekten, Kunst-, Kultur- und Alltagsgegenständen, die im Kontext der Provenienzforschung interessant sein könnten. Diese Bestände sind aktuell nur mit einer Volltextsuche zu durchsuchen.

Sucht man zum Beispiel nach einer “Porzellantasse”, so ergeben sich Probleme mit der deutschen Sprache und der unterschiedlichen Tiefe der Erschließung einzelner Akten oder Bestände. Hier sind einige konstruierte Beispiele, wie die gesuchte “Porzellantasse” in unseren Erschließungsdaten gelistet sein könnte:

Anzeige des Verlustes der Wohnungseinrichtung der Freiburger Wohnung.
... darunter ein Porzellanservice ...
... ein Porzellanservice bestehend aus 4 Tassen, 4 Tellern, ...
Im Hausrat befanden sich..., Ludwigsburger Porzellantassen, ...
... 4 Tassen (Ludwigsburger Porzellan, Empire Stil) ...

Mit dem Suchwort “Porzellantasse” in einer einfachen Volltextsuche, würde man von diesen fünf Beispielen lediglich das vierte Beispiel in den Suchergebnissen finden.

Um die Auffindbarkeit von Objekten zu erhöhen, wollen wir solche Erschließungsdaten daher zusätzlich mit Schlagworten versehen. Da (neue) Schlagworte im LABW mit einer GND-ID versehen sind, könnte eine semantische Suche bei der Suche nach Findbucheinträgen mit dem Schlagwort “Tasse” auch die “Porzellantasse” berücksichtigen. Wie in dem folgenden Diagramm dargestellt, ist in der GND die Information gespeichert, dass die Porzellantasse ein Spezialfall einer Tasse ist, welches zum Essgeschirr dazugehört, usw.

flowchart LR 4175414-1(["Porzellantasse"]):::initial click 4175414-1 href "https://lobid.org/gnd/4175414-1" "4175414-1" _blank 4184488-9["Tasse"] click 4184488-9 href "https://lobid.org/gnd/4184488-9" "4184488-9" _blank 4124863-6["Essgeschirr"] click 4124863-6 href "https://lobid.org/gnd/4124863-6" "4124863-6" _blank 4186181-4["Trinkgefäß"] click 4186181-4 href "https://lobid.org/gnd/4186181-4" "4186181-4" _blank 4140542-0["Geschirr #lt;Hausrat#gt;"] click 4140542-0 href "https://lobid.org/gnd/4140542-0" "4140542-0" _blank 4128003-9["Gefäß"] click 4128003-9 href "https://lobid.org/gnd/4128003-9" "4128003-9" _blank 4132060-8["Hausrat"] click 4132060-8 href "https://lobid.org/gnd/4132060-8" "4132060-8" _blank 4020299-9["Gerät"] click 4020299-9 href "https://lobid.org/gnd/4020299-9" "4020299-9" _blank 4175414-1 --> 4184488-9 4184488-9 --> 4124863-6 4184488-9 --> 4186181-4 4124863-6 --> 4140542-0 4186181-4 --> 4128003-9 4140542-0 --> 4132060-8 4128003-9 --> 4020299-9 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000;

Da wir aktuell keine semantische Suche anbieten, müssen wir die zusätzlichen Schlagworte selbst ergänzen. Also zum Beispiel den Begriff Tasse für Porzellantasse ergänzen.

Die Diagramme wurden mit unserer experimentellen Webanwendung zur GND Hierarchie Visualisierung von Sachbegriffen erstellt. Hier die Legende:

flowchart LR initial(["Fokussierter Begriff"]):::initial broader["Oberbegriff"] initial --> broader narrower["Unterbegriff"] narrower --> initial missing["Erwartete Verknüpfung"] initial x-.-x missing category[["GND Sachgruppe"]]:::category initial --> category broader --> category narrower --> category similar["#Auml;hnlicher Begriff"] initial <-.-> similar broader <-.-> similar narrower <-.-> similar classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000;

Workflow

Unser technischer Workflow besteht aus den folgenden fünf Schritten:

Das Filtern der relevanten Findbücher und Findbucheinträge erfolgte mit OpenRefine auf einem CSV-Abzug der Daten in unserem Archivischen Fachinformationssystem (AFIS).
Das Named-entity Recognition wurde mit einem über Prodigy selbst trainierten spaCy Modell durchgeführt.
Die Normalisierung der via NER gefundenen Begriffe erfolgte unter anderem mit Clustering-Methoden in OpenRefine.
Der GND Abgleich erfolgte ebenfalls mit OpenRefine über die lobid-gnd OpenRefine Reconciliation Schnittstelle.
Das Nachladen der Oberbegriffe erfolgte auf Grund der Größe des resultierenden Netzwerkes auf einer lokalen Kopie der GND in ihrer LOD-Form in Oxigraph. Dort wurden mit SPARQL die relevanten Knoten und Verbindungen extrahiert, anschließend mit NetworkX zu einem Netzwerk zusammengefügt und mit PyVis visualisiert.

NER Ergebnisse und Normalisierung (Workflow Schritte 2 + 3)

Wir haben mit unserem NER Modell 66.206 Begriffe extrahiert (Schritt 2), wovon 1.468 wieder verworfen wurden (Schritt 3+4). Das entspricht einer Genauigkeit von etwa 97,8%. Damit sind wir etwas besser, als die laut Modellevaluation erwarteten 95% Genauigkeit. Nach der Normalisierung (Schritt 3) hatten wir 67.561 Begriffe, die wir mit 1.753 Begriffen in der GND verlinken konnten (Schritt 4).

Die Steigerung der Anzahl der Begriffe kommt daher, dass wir beim Modelltraining gemeinsame Begriffe z.B. aus Aufzählungen auch gemeinsam erfasst und später in OpenRefine getrennt haben. Prinzipiell wird das umgekehrte Verfahren empfohlen, also die Begriffe getrennt zu markieren/extrahieren und in einem nachgelagerten Arbeitsschritt zu verknüpfen. ² Dies war uns für dieses einmal durchgeführte Projekt jedoch zu aufwendig.

Hier an konkreten Beispielen erklärt:

Aus dem zusammengesetzten Begriff China- und Perserteppiche werden in Schritt 3 die zwei Begriffe Teppich aus China und Perserteppich.
Aus Porzellantassen, -teller und -kannen werden in Schritt 3 die drei Begriffe Tasse aus Porzellan, Teller aus Porzellan und Kanne aus Porzellan.
Aus Gabeln, Messer und Löffel aus Silber werden in Schritt 3 die drei Begriffe Gabel aus Silber, Messer aus Silber und Löffel aus Silber.

Ein weiteres Problem, welches uns beim Normalisieren der Begriffe aufgefallen ist, ist dass wir zusammengesetzte Begriffe haben, die sich in diesem Detailgrad nicht mit der GND abgleichen lassen. Daher haben wir jeden Begriff in die vier Bestandteile Gegenstand, Material, Herkunft/Marke und Stil zerlegt. ³

In der folgenden Tabelle wird gezeigt, wie die Ludwigsburger Empire-Porzellantasse in die vier Bestandteile zerlegt (1) und anschließend mit dem möglichst spezifischsten Begriff in der GND abgeglichen wurde (2).

	Gegenstand	Material	Herkunft/Marke	Stil
(1)	Tasse	Porzellan	Ludwigsburger Porzellan	Empire
(2)	Porzellantasse	Porzellan	Ludwigsburger Porzellan	Empire

Probleme beim Abgleich mit der GND (Workflow Schritt 4)

Beim Finden von passenden Konzepten und Begriffen in der GND haben sich mit unseren Daten mehrere Probleme ergeben.

Dieser Artikel zeigt eine Momentaufnahme der GND zum Zeitpunkt unserer Projektumsetzung. Im Zuge der kontinuierlichen Verbesserung der Datenqualität der GND haben sich einige der im Folgenden beschriebenen Probleme eventuell schon erledigt.
Prinzipiell wäre ein auf Objekte ausgelegter Thesaurus, wie zum Beispiel der Art & Architecture Thesaurus von Getty, für unsere Daten geeigneter. Jedoch ist im LABW aktuell lediglich die GND als Normdatenvokabular freigegeben.
In der GND wird zwischen Begriffen unterschieden, die für die Sacherschließung, für die Formalerschließung oder beide gemeinsam genutzt werden sollten. Die lobid-gnd OpenRefine Reconciliation API, als auch unsere im FDMLab genutzten Werkzeuge, arbeiten jedoch mit der Linked-Open-Data Form der GND. In dieser Variante wird die Information zur Verwendung nicht veröffentlicht, weshalb wir sie (meistens) ignorieren.

Teppiche

Teppiche sind häufig nach ihrer Herkunft benannt. Bekannt ist hier zum Beispiel der Perserteppich, welcher in der GND als Kompositum aus den Begriffen Teppich und Iran zusammengesetzt wurde. Leider war das auch der einzige Teppich in unseren Daten, für den wir ein entsprechendes Konstrukt in der GND finden konnten. ⁴

Porzellan

Porzellan wird ähnlich wie Teppiche nach seiner Herkunft bezeichnet. In der GND finden sich unter dem Sachbegriff Porzellan einige bekannte Bezeichnungen wie Berliner Porzellan, Ludwigsburger Porzellan und Meißener Porzellan. Diese sind anders als Teppiche jedoch nicht als Kompositum mit relationierten Beziehungen angelegt, sondern es ist eine direkte Beziehung zu dem Normdateneintrag des Herstellers und/oder des Geografikums hinterlegt.

Für die in unseren Daten verzeichneten Allacher, Bavaria, Capodimonte, Delfter, Fraureuther, Hanauer, Hörter, Hutschenreuther, Karlsbader, Königszelter, Langenthaler, Limoges, Niederweiler, Nürnberger, Schierholz, Schorndorfer, Schramberger, Selb und Straßburger Porzellane mussten wir uns jedoch eine eigene Lösung überlegen.

Musikinstrumente

Musikinstrumente werden häufig nach dem Namen des Erbauers bzw. als Erweiterung davon nach der Firma benannt. So hatten wir in unseren Daten Geigen von Reményi und Stradivari, sowie Flügel von Bechstein, Blüthner, Duysen, Förster, Gotrian, Kreutzbach, Pfeiffer, Schiedmayer, Steingräber, Steinway und Steinweg.

Hier ergibt sich das Problem, dass es in der GND keine “Stradivari-Geige” gibt. Selbst wenn die Erbauer in der GND als Person angelegt sind, so widerstrebt es uns Personen als Ergänzung zu Sachbegriffen zu verknüpfen.

Fehlende Begriffe

Gerade im Bereich Haushaltsgegenstände fehlten uns in der GND einige Begriffe, für die es bisher wohl keine Verwendung gab. Beispielsweise konnten wir keine passenden Begriffe für Kaminbesteck (Schürhaken, …), Garderobe, oder Kleiderständer finden. Auch ein Bügelbrett, Einkochtopf, Vorlegebesteck oder Servicebesteck suchten wir vergebens.

Manchmal ist der unterschiedliche Detailgrad ähnlicher Begriffe auch verwirrend:

Es gibt einen Salzstreuer aber keinen Pfefferstreuer.
Es gibt eine Kaffeekanne und eine Teekanne, aber keine Mokkakanne.
Es gibt eine Kaffeetasse und eine Mokkatasse, aber keine Teetasse.
Es gibt einen Teelöffel aber keinen Kaffeelöffel oder Mokkalöffel.

Mehrdeutige Begriffe bei Materialangaben

Manche Begriffe werden in der Deutschen Sprache mehrdeutig verwendet. Dies wird in der GND manchmal berücksichtigt, manchmal auch nicht. So können zum Beispiel Glas, Keramik und Terrakotta sowohl für das Material als auch für den Gegenstand verwendet werden.

flowchart LR 4184790-8(["Terrakotta"]):::initial click 4184790-8 href "https://lobid.org/gnd/4184790-8" "4184790-8" _blank cat0[["Kunsthandwerk"]]:::category click cat0 href "https://lobid.org/gnd/search?q=type%3ASubjectHeading%20AND%20gndSubjectCategory.label%3A%22Kunsthandwerk%22" "cat0" _blank cat1[["Glas, Keramik, Steine und Erden"]]:::category click cat1 href "https://lobid.org/gnd/search?q=type%3ASubjectHeading%20AND%20gndSubjectCategory.label%3A%22Glas%2C%20Keramik%2C%20Steine%20und%20Erden%22" "cat1" _blank cat2[["Plastik"]]:::category click cat2 href "https://lobid.org/gnd/search?q=type%3ASubjectHeading%20AND%20gndSubjectCategory.label%3A%22Plastik%22" "cat2" _blank 4030270-2(["Keramik"]):::initial click 4030270-2 href "https://lobid.org/gnd/4030270-2" "4030270-2" _blank 4021142-3(["Glas"]):::initial click 4021142-3 href "https://lobid.org/gnd/4021142-3" "4021142-3" _blank 4184790-8 --> cat0 4184790-8 --> cat1 4184790-8 --> cat2 4030270-2 --> cat1 4030270-2 --> cat0 4030270-2 --> cat2 4021142-3 --> cat1 4021142-3 --> cat0 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000;

Komplizierter ist es bei anderen Materialien, die im nachfolgenden Diagramm gelistet sind. So gibt es für einen “Gegenstand aus Bronze” in der GND einen spezifischen Begriff “Bronzegegenstand”, der mit dem Material Bronze verknüpft ist. Einen Messing-, Silber- oder Zinngegenstand gibt es nicht. Bei dem Eisen-, Gold-, Holz-, Kupfer- und Metallgegenstand fehlt die Verknüpfung zu dem Material, weshalb wir sie zuerst übersehen haben. Der Bleigegenstand ist dem Metallgegenstand untergeordnet, die anderen Metallgegenstände jedoch nicht.

Als Unikat ist der Holzgegenstand in die Hierarchie der Agrarprodukte eingebunden. Die restlichen Gegenstände im Diagramm schweben “haltlos” außerhalb einer Hierarchie.

flowchart TD 1042935793(["Bleigegenstand"]):::initial click 1042935793 href "https://lobid.org/gnd/1042935793" "1042935793" _blank 4285971-2(["Eisengegenstand"]):::initial click 4285971-2 href "https://lobid.org/gnd/4285971-2" "4285971-2" _blank 4146676-7(["Bronzegegenstand"]):::initial click 4146676-7 href "https://lobid.org/gnd/4146676-7" "4146676-7" _blank 4166111-4(["Kupfergegenstand"]):::initial click 4166111-4 href "https://lobid.org/gnd/4166111-4" "4166111-4" _blank 4157843-0(["Goldgegenstand"]):::initial click 4157843-0 href "https://lobid.org/gnd/4157843-0" "4157843-0" _blank 4169585-9(["Metallgegenstand"]):::initial click 4169585-9 href "https://lobid.org/gnd/4169585-9" "4169585-9" _blank 4160516-0(["Holzgegenstand"]):::initial click 4160516-0 href "https://lobid.org/gnd/4160516-0" "4160516-0" _blank 4387668-7["Holzprodukt"] click 4387668-7 href "https://lobid.org/gnd/4387668-7" "4387668-7" _blank 4272528-8["Forstprodukt"] click 4272528-8 href "https://lobid.org/gnd/4272528-8" "4272528-8" _blank 4068470-2["Agrarprodukt"] click 4068470-2 href "https://lobid.org/gnd/4068470-2" "4068470-2" _blank 4145879-5["Blei"] click 4145879-5 href "https://lobid.org/gnd/4145879-5" "4145879-5" _blank 4146667-6["Bronze"] click 4146667-6 href "https://lobid.org/gnd/4146667-6" "4146667-6" _blank 4157819-3["Gold"] click 4157819-3 href "https://lobid.org/gnd/4157819-3" "4157819-3" _blank 4133759-1["Silber"] click 4133759-1 href "https://lobid.org/gnd/4133759-1" "4133759-1" _blank 4014002-7["Eisen"] click 4014002-7 href "https://lobid.org/gnd/4014002-7" "4014002-7" _blank 4033734-0["Kupfer"] click 4033734-0 href "https://lobid.org/gnd/4014002-7" "4033734-0" _blank 4190888-0["Zinn"] click 4190888-0 href "https://lobid.org/gnd/4190888-0" "4190888-0" _blank 4169517-3["Messing"] click 4169517-3 href "https://lobid.org/gnd/4169517-3" "4169517-3" _blank 4038860-8["Metall"] click 4038860-8 href "https://lobid.org/gnd/4038860-8" "4038860-8" _blank 4025668-6["Holz"] click 4025668-6 href "https://lobid.org/gnd/4146667-6" "4025668-6" _blank subgraph material["Material"] 4145879-5 4146667-6 4157819-3 4133759-1 4014002-7 4033734-0 4190888-0 4169517-3 4038860-8 4025668-6 end 1042935793 --> 4169585-9 1042935793 <-.-> 4145879-5 4285971-2 x-.-x 4014002-7 4157843-0 x-.-x 4157819-3 4169585-9 x-.-x 4038860-8 4160516-0 x-.-x 4025668-6 4146676-7 <-.-> 4146667-6 4166111-4 x-.-x 4033734-0 4160516-0 <-.-> 4387668-7 4160516-0 --> 4387668-7 --> 4272528-8 --> 4068470-2 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000;

Fazit

Die Extraktion spezifischer Sachbegriffe aus unseren Erschließungsdaten mit einem selbst trainierten Modell für Named-entity Recognition funktionierte besser als erwartet.

Die anschließenden Schritte zur Normalisierung und dem Abgleich der Daten zeigten auch hier Potential für noch mehr Automatisierung. Gleichzeitig gestaltete sich der Abgleich unserer Sachbegriffe mit den Normdaten der GND als intellektuell herausfordernd. Hier holten wir uns häufig zusätzliche Unterstützung von unserer Webanwendung zur Visualisierung von Sachbegriffen in der GND und fragten Details über den GND Explorer ab.

Prinzipiell würden wir uns von vielem in der GND mehr wünschen: mehr Begriffe, mehr Varianten, mehr Struktur und mehr Uniformität. Gleichzeitig wissen wir den Komfort der lobid-gnd OpenRefine Reconciliation API und der schon für die GND geleistete Arbeit zu schätzen.

Über die Ergebnisse des Fünften Schrittes “Aufbau einer Hierarchie basierend auf Informationen aus der GND” berichten wir separat.

Auf Grund von Schutzfristen ist noch nicht klar, welche Bestände wir nach Abschluss des Projektes schon veröffentlichen können. ↩︎
Siehe Best practice recommendations from Explosion.ai on Twitter. ↩︎
Das mag Routine für die Beschreibung von Objekten in Museen sein, ist bei uns im Archiv jedoch unüblich. ↩︎
In der GND gibt es noch den Berberteppich, der ebenfalls als Kompositum angelegt wurde, für den wir in unseren Daten jedoch keine Beispiele hatten. ↩︎

NER Modell mit GND Starthilfe trainieren

Tue, 27 Sep 2022 00:00:00 +0000

In diesem Artikel beschäftigen wir uns mit dem Thema Named Entity Recognition. Wir trainieren ein eigenes Modell zur Erkennung von Kunst- und Kulturobjekten in unseren Erschließungsdaten und verwenden als Starthilfe die Gemeinsame Normdatei.

NER und Erschließung

Ein Arbeitsschritt bei der Erschließung ist die Erstellung von Deskriptoren, also die Identifikation von relevanten Entitäten in den zu verzeichnenden Archivalien. Dazu gehören relevante Körperschaften, Personen, Orte und Dinge. Wenn möglich, werden die identifizierten Entitäten zusätzlich mit passenden IDs aus der Gemeinsamen Normdatei (GND) versehen und somit semantisch verknüpft (Linked Data). Im Bereich des maschinellen Lernens werden diese beiden Schritte Named Entity Recognition (NER) und Named Entity Linking (NEL) genannt.

Dieser Arbeitsschritt findet in der Realität nicht unbedingt direkt bei der initialen Erfassung statt. Wir haben im Landesarchiv noch analoge Findmittel, die wir Retrodigitalisieren, und digitale Findbücher, bei der die Schlagworte (Deskriptoren) fehlen oder unvollständig sind.

In einem Experiment zur Vorbereitung eines Projektes im Kontext der Provenienzforschung testeten wir verschiedene Möglichkeiten NER zur Identifikation von beschriebenen Kunst- und Kulturobjekten in unseren Erschließungsdaten zu verwenden. ¹

NER im Kontext Archiv

Named Entity Recognition gehört zu den stabilen und gern genutzten KI Verfahren zur Extraktion von Informationen. Dafür gibt es schon vortrainierte Modelle, die innerhalb eines Natural Language Processing (NLP) Frameworks wie spaCy oder flair verwendet werden können. Für unser Experiment haben wir uns für spaCy als NLP Framework entschieden, da es ein für uns passendes Ökosystem mitbringt.

Hier ein mit NER verarbeiteter Beispieltext über das Landesarchiv Baden-Württemberg, welcher von der englischsprachigen Wikipedia angepasst wurde. ²

The State Archives ORG of Baden-Württemberg ( LABW ORG ) encompasses all state archives in Baden-Württemberg GPE .
The State Archives ORG of Baden-Württemberg is part of the portfolio of the Baden-Württemberg Ministry for Science, Research and Arts FAC .
It keeps historic documents that reach back to the middle ages DATE .
The current President of the State Archives ORG of Baden-Württemberg has been Prof. Dr. Gerald Maier PERSON since February 1st, 2018 DATE .
It employs around 250 CARDINAL people at 8 CARDINAL locations.

Das Model en_core_web_lg hat generell einen f-score von 0,85 und unterscheidet 18 Arten von Entitäten: CARDINAL, DATE, EVENT, FAC, GPE, LANGUAGE, LAW, LOC, MONEY, NORP, ORDINAL, ORG, PERCENT, PERSON, PRODUCT, QUANTITY, TIME und WORK_OF_ART. ³

Farblich hervorgehoben sind die vom Modell erkannten Entitäten und leicht abgesetzt der bestimmte Entitätentyp. Der f-score besagt in diesem Fall (vereinfacht!), dass in der Evaluation des Modells, von den gesuchten Entitäten etwa 85% gefunden wurden (Recall) und von den markierten Entitäten etwa 85% richtig markiert wurden (Precision). ⁴ In unserem von Wikipedia angepassten Beispieltext bestätigten sich diese Werte.

Hier ein mit NER verarbeiteter Beispieltext über das Landesarchiv Baden-Württemberg, welcher von der deutschsprachigen Wikipedia angepasst wurde. ⁵

Das Landesarchiv Baden-Württemberg LOC (LABW) umfasst alle baden-württembergischen MISC Staatsarchive.
Es gehört zum Geschäftsbereich des Ministeriums für Wissenschaft, Forschung und Kunst Baden-Württemberg. ORG
Es verwahrt historische Dokumente, die bis zum Mittelalter zurückreichen.
Der amtierende Präsident des Landesarchives PER ist seit dem 01. Februar 2018 Prof. Dr. Gerald Maier. PER
Es beschäftigt circa 250 Mitarbeiter an 8 Standorten.

Das Model de_core_news_lg hat einen f-score von 0,85 und unterscheidet 4 Arten von Entitäten: LOC, MISC, ORG, PER. ⁶

Das Modell für die deutsche Sprache erkennt und unterscheidet deutlich weniger Arten von Entitäten. Das hat damit zu tun, dass es für die deutsche Sprache keine so umfangreichen und frei verfügbaren Trainingsdaten gibt. Die Qualität der Erkennung (f-score) ist mit dem des englischsprachigen Modells vergleichbar. Aus Sicht deutschsprachiger Anwender ist es jedoch frustrierend sich auf vier Arten von Entitäten beschränken zu müssen.

Wenden wir das deutschsprachige Modell auf Texte in unseren Erschließungsdaten an, so gibt es noch ein weiteres Problem. ⁷

Besitzhinweis auf Mobiliar (hauptsächlich gekauft bei der Möbelfirma LOC Winfried Mueller, Stuttgart PER ), 1 vollständigen Silberkasten und mindestens 4 Silber-Becher.
Zahlung von 11100 fl. samt rückständigen neunjährigen Zinsen in Höhe von 4999 fl. oder Einsetzung in das adelige Gut Werenwag.
Gen. Forderung stammt aus Streit über Erbe des im November 1595 verst. K[C]aspar (von) Laubenberg. MISC
Entzug des ordentlichen Richters und Verstoß gegen Haigerlocher Evokationsprivileg PER durch Verschleppung kläg. Sohns gen. "junger Lenz" nach Sigmaringen, wo gegen ihn Kriminalprozeß PER angestrengt wurde.

Bei unseren Texten hat das Modell praktisch einen f-score von (nahe) 0. Das ist jedoch kein Problem des spaCy Modells, sondern ein generelles Problem von NER (Domänenproblem). Das auf allgemeinen Texten trainierte Modell funktioniert wie erwartet auf Wikipedia Texten, hat jedoch Probleme mit der speziellen Domäne der “Erschließungsdaten im LABW”.

Das bedeutet, dass wir für die meisten unserer Probleme keine vortrainierten Modelle verwenden können, sondern Modelle speziell für unsere Anwendungszwecke neu erstellen oder nachtrainieren müssen. Das erfordert aktuell

Technisch versierte Personen, die Daten Pipelines und Workflows erstellen können.
Fachpersonal, welches die entsprechenden Trainingsdaten erstellen kann.
Eine Softwareumgebung zur Erstellung der Trainingsdaten.
Eine Hardwareumgebung zum Trainieren der Modelle.

Da dies von den meisten kulturellen Einrichtungen nicht geleistet werden kann, arbeiten mehrere NFDI Konsortien, darunter NFDI4Culture und je nach Genehmigungsstatus ab nächstem Jahr NFDI4Memory daran, mögliche Lösungen für diese Anforderungen zu entwickeln und zur Verfügung zu stellen.

Da das FDMLab explizit dafür ausgelegt ist, solche Probleme zu untersuchen und damit wertvolle Vorarbeiten zu leisten, konnten wir uns dieses Problem ansehen und exemplarisch an einer konkreten Aufgabe durcharbeiten.

Trainieren eines NER Modells

Bei der Erstellung von Trainingsdaten für unser NER Modell waren wir mit dem so genannten “Kaltstart”-Problem konfrontiert. Das bedeutet, dass wir noch keine Trainingsdaten hatten und auch keine Möglichkeit diese auf einfache Art- und Weise zu “synthetisieren”. Da wir es in unserem speziellen Fall explizit mit Kunst- und Kulturobjekten zu tun haben und es in der GND einen umfangreichen Thesaurus mit Sachschlagworten gibt, hatten wir die Idee die Sachschlagworte in der GND als erste Grundlage zu verwenden und anschließend in einem aktiven Lernverfahren den Trainingsprozess für das Fachpersonal zu vereinfachen. ⁸

Vorbereitungen

Wir verwenden spaCy als NLP Framework und prodigy zur Erstellung der Trainingsdaten. Damit können wir basierend auf den Begriffen aus der GND eine Sammlung von Regeln hinterlegen, die automatisch Begriffe vorauswählen. ⁹

Dafür müssen die Daten aus der GND erst noch extrahiert und aufbereitet werden.

GND Daten extrahieren

Wie wir die GND in ihrer Linked Open Data (LOD) Form in einen lokalen Apache Jena Server laden, haben wir bereits ausführlich beschrieben. Die Schlagworte extrahieren wir anschließend via SPARQL zusammen mit ihren Varianten und GND Sachgruppen.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>
PREFIX gndCat: <https://d-nb.info/standards/vocab/gnd/gnd-sc#>
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
PREFIX skos: <http://www.w3.org/2004/02/skos/core#>
SELECT DISTINCT ?gndID (SAMPLE(?namex) AS ?name) (SAMPLE(?variantsx) as ?variants) (GROUP_CONCAT(?categoryName; SEPARATOR="|") AS ?categories)
WHERE {
 ?gndID gndo:gndSubjectCategory ?category .
 ?category skos:prefLabel ?categoryName .
 FILTER ( lang(?categoryName) = "de")
 {
 SELECT DISTINCT ?gndID (SAMPLE(?prefName) AS ?namex) (GROUP_CONCAT(?variant; SEPARATOR="|") AS ?variantsx)
 WHERE {
 VALUES ?subjectType {
 gndo:SubjectHeading
 gndo:SubjectHeadingSensoStricto
 gndo:ProductNameOrBrandName
 }
 ?gndID rdf:type ?subjectType;
 gndo:preferredNameForTheSubjectHeading ?prefName .
 OPTIONAL { ?gndID gndo:variantNameForTheSubjectHeading ?variant } .
 }
 GROUP BY ?gndID
 }
}
GROUP BY ?gndID

Bei der Abfrage beschränken wir uns auf die Typen SubjectHeading, SubjectHeadingSensoStricto und ProductNameOrBrandName. Ein Begriff kann in der GND auch mit alternativen Benennungen gelistet werden (variants). Diese sind zwar hilfreich, jedoch nicht so umfassend wie die Daten im englischsprachen WordNet oder im lizenzpflichtigen deutschsprachigen GermaNet. Ein Begriff ist einer oder mehreren Sachgruppen zugeordnet.

In der folgenden Tabelle ist das Ergebnis der SPARQL-Abfrage mit fünf Ergebnissen gezeigt.

gndID	name	variants	categories
4300598-6	Tonnelierter Raum	Barrelled spaces \| Espace tonnelé	Mathematik
4207912-3	Götter <Motiv>		Sachliche Motive in der Kunst \| Literarische Motive, Stoffe, Gestalten
7528956-8	Pflanzenbeobachtung	Pflanzen / Beobachtung	Botanik (Allgemeines)
4379234-0	Freiwillige Selbstkontrolle	FSK \| Selbstkontrolle <Publizistik>	Film \| Presse \| Rundfunk, Neue Medien
4173231-5	Papstkrönung	Papst / Krönung	Kirchengeschichte \| Geschichte überregionaler Gebiete

GND Daten aufbereiten

Die in Tabellenform extrahierten Begriffe werden anschließend in OpenRefine aufbereitet und markiert. Dafür werden die mit | getrennten Varianten und Sachgruppen in einer Record-Struktur aufgelöst, sowie Ergänzungen in Klammern (<Motiv>, (Allgemeines), …) und Hierarchiezeichen (Papst / Krönung => Papst Krönung) mit regulären Ausdrücken entfernt.

Anschließend werden drei Datensätze erstellt:

GND ALL: enthält alle extrahierten Begriffe und Varianten
GND Groups: enthält alle Begriffe und Varianten in von uns markierten Sachgruppen
GND Selected: enthält alle separat von uns markierte Begriffe mit ihren Varianten

Bei der Identifikation von relevanten Sachgruppen ist unser Experiment zur GND Hierarchie Visualisierung eine große Hilfe.

Für jeden Datensatz wird mit Python anschließend ein einfacher Regelsatz (Simple) und ein komplexer Regelsatz (Complex) für spaCy erstellt.

Für den einfachen Regelsatz wird eine Regel mit dem Begriff in seiner bevorzugten Schreibweise erstellt. Besteht der Begriff aus mehreren Worten, so wird zusätzlich eine Regel für eine Schreibweise mit Bindestrichen und eine Regel für eine Schreibweise ohne Bindestriche oder Leerzeichen erstellt.

Hier am Beispiel des Begriffes Ludwigsburger Porzellan:

{"label": "OBJ", "pattern": "Ludwigsburger Porzellan"}
{"label": "OBJ", "pattern": "Ludwigsburger-Porzellan"}
{"label": "OBJ", "pattern": "Ludwigsburgerporzellan"}

Damit decken wir unterschiedliche Schreibweisen für zusammengesetzte Wörter und ggf. fehlende Leerzeichen ab. Tippfehler, andere grammatikalische Formen und Synonyme werden dadurch nicht gefunden.

Für den komplexen Regelsatz wird via regulären Ausdrücken zusätzlich die Option berücksichtigt, dass es weitere mit Bindestrich verbundene Wortbestandteile geben kann (Ludwigsburger-Porzellan-Tasse) und zusätzlich die Grundform des Wortes (Lemma) als Vergleichskriterium verwendet. ¹⁰

{"label": "OBJ", "pattern": [{"LEMMA": "Ludwigsburger"}, {"LEMMA": "Porzellan"}]}
{"label": "OBJ", "pattern": [{"LEMMA": {"REGEX": "Ludwigsburger\\-Porzellan((-|\\s)\\w+)?"}}]}
{"label": "OBJ", "pattern": [{"LEMMA": {"REGEX": "Ludwigsburgerporzellan((-|\\s)\\w+)?"}}]}

Durchführung

Annotation mit Regeln und aktivem Lernen

Mit dem Regelsatz GND Selected Simple wurden 1.000 Sätze mit regelbasierter Unterstützung manuell annotiert. ¹¹ Mit diesen wurde anschließend ein temporäres Modell trainiert, welches dabei unterstützte weitere 2.000 Sätze zu annotieren.¹²

Je nach verwendeter Beschreibungsform im Findbuch (Fließtext, Aufzählung, Liste, Tabelle, …) kann ein Satz zwischen 0 und mehr als 30 Entitäten enthalten.

Auf Grund von Duplikaten entstanden dadurch etwa 2.600 annotierte Sätze für das Training.

Zusätzlich wurden aus jedem der 59 untersuchten Findbüchern 2 zufällig ausgewählte Findbuchbeiträge extrahiert, wodurch ein Evaluations Datenset mit 1.677 eindeutigen Sätzen entstand. Dieses wurde von 2 Personen getrennt annotiert und anschließend die Unterschiede noch einmal besprochen und aufgelöst. ¹³

Das NER Modell wurde anschließend auf den Trainingsbeispielen neu trainiert und gegen das Evaluationsdatenset evaluiert. ¹⁴

Evaluation regelbasierter “Modelle”

Aus jedem der 6 Regeldatensätze wurde eine eigene spaCy Pipeline mit einer EntityRuler Komponente erstellt. ¹⁵ Diese 6 Pipelines wurden anschließend gegen das Trainings- und Evaluationsdatenset evaluiert. ¹⁶

Ergebnisse

	Begriffe		Gruppen
GND ALL	143.064	(100,00%)	339	(100,00%)
GND Groups	33.461	(23,39%)	27	(7,96%)
GND Selected	604	(0,42%)	80	(23,60%)

Insgesamt arbeiteten wir mit 143.061 Begriffen aus der GND (Varianten nicht mitgezählt). Bei der manuellen Auswahl der Sachgruppen wurden 27 Sachgruppen als relevant markiert. Bei der manuellen Auswahl der Begriffe wurden 604 Begriffe als relevant markiert.

Die 604 manuell markierten Begriffe sind insgesamt 80 unterschiedlichen Sachgruppen zugeordnet, wobei ein Begriff mehreren Sachgruppen zugeordnet werden kann.

Es war deutlich einfacher (und schneller) die 27 relevanten Sachgruppen zu identifizieren, als die 604 relevanten Begriffe herauszusuchen. Bei beiden Ansätzen war uns klar, dass wir aus Zeitgründen keine vollständige Auswahl treffen werden, so dass wir uns in der dafür aufgewendeten Zeit einschränkten.

Dataset	Precision	Recall	F1	Dataset	Precision	Recall	F1
GND ALL Simple	0,23	0,37	0,29	Complex	0,19	0,84	0,31
GND Groups Simple	0,33	0,34	0,34	Complex	0,31	0,76	0,44
GND Selected Simple	0,71	0,19	0,30	Complex	0,69	0,37	0,48
NER OBJ	0,96	0,94	0,95

Die Ergebnisse der obigen Tabelle sind in Abbildung 1 visualisiert und werden dort besprochen.

Scatterplot für Precision und Recall für die einzelnen Datensätze.

In Abbildung 1 lässt sich ablesen, dass die Verwendung der komplexen im Vergleich zu den einfachen Regeln den Recall, also den Anteil gefundener Begriffe, deutlich erhöht, wobei die Precision, also der Anteil an falsch markierten Begriffen, im Vergleich nur unwesentlich sinkt.

Es lässt sich ebenfalls ablesen, dass die Verwendung aller Begriffe in der GND (ALL) im Vergleich zur Verwendung der Begriffe ausgewählter Gruppen (Groups) den Recall erhöht, aber nicht so wesentlich, als dass es die deutlich schlechtere Precision ausgleichen könnte.

Mit einem f1-score von 0,48 erhält der Ansatz mit den ausgewählten Begriffen (Selected) den besten Wert der regelbasierten Ansätze. Mit einem f1-score von 0,95 ist das NER Modell den regelbasierten Ansätzen jedoch weit überlegen.

Diskussion

Grundsätzlich lässt sich sagen, dass sich die Idee die GND als Starthilfe für das Anlernen eines neuen NER Models zu verwenden, als erfolgreich erwiesen hat. Mit einem Recall und einer Precision über 90 Prozent könnten wir das anschließend trainierte NER Modell direkt produktiv anwenden. Auch die Verwendung der Sachbegriffe in der GND als Starthilfe hat deutlich besser funktioniert, als wir das erwartet hatten.

Ein wesentlicher Faktor, den wir bei diesem Experiment bewusst nicht erfasst haben, ist der zeitliche Aufwand für die einzelnen manuellen oder automatisierten Arbeitsschritte.

Hier machte eine genaue Erfassung in unserem Fall von daher keinen Sinn, da bei den manuellen Aufgaben ein großer Faktor der einmalige Einarbeitungsaufwand darstellt und die automatisierten Schritte auf Grund unterschiedlicher Lasten auf unserem Testsystem nicht deterministisch waren. Außerdem durchliefen wir verschiedene Iterationen, bis wir einem für uns passenden Workflow gefunden hatten.

Generell würden wir nach unserer Erfahrung davon abraten alle Sachbegriffe der GND, oder mehr als die von uns verwendeten circa 33.500 Begriffe zur Regelgenerierung zu verwenden. Nach unserer Beobachtung ist bei diesen Mengen und bei der Verwendung von regulären Ausdrücken in den Regeln das Laufzeitverhalten der Regelauswertung nicht mehr linear.

Bei der Abwägung, ob mit ausgewählten Begriffen oder ausgewählten Sachgruppen gearbeitet wird, sollte auch die Präferenz des Fachpersonals im Annotationsprozess berücksichtigt werden. Bei einer hohen Precision müssen hauptsächlich zusätzliche Begriffe markiert werden. Bei einem hohen Recall (und niedriger Precision) müssen hauptsächlich falsch markierte Begriffe entfernt werden.

Außerdem haben wir uns bei der initialen Auswahl der Sachbegriffe aus der GND auf bestimmte Typen beschränkt (SubjectHeading, SubjectHeadingSensoStricto und ProductNameOrBrandName). Diese Einschränkung machte für uns Sinn, jedoch sind manche der von uns gesuchten Objekte auch unter den Typen Work bzw. dessen Unterklassen zu finden, oder in der GND als Corporate Body klassifiziert.

Die Entscheidung aus jedem Bestand 2 zufällige Findbucheinträge für das Evaluationsdatenset zu verwenden, sorgte für ein ungünstiges Größenverhältnis zwischen Trainings- und Evaluationsdatenset. Zum einen ist das Evaluationsdatenset recht groß im Vergleich zum Trainingsdatenset. Zum anderen ist es durch die Unterschiede zwischen den einzelnen Beständen nicht repräsentativ. So gibt es eine große Varianz in der Größe der einzelnen Bestände (1 - 1321 Findbucheinträge) und der unterschiedlichen Länge der einzelnen Findbucheinträge (6 - 47.249 Zeichen).

Bei der praktischen Anwendung des trainierten Modells konnten wir feststellen, dass die Performanz des Modells auf den größeren Beständen merkbar schlechter war, so dass wir in der praktischen Anwendung eher mit einer Precision und einem Recall im Bereich von etwa 90 Prozent rechnen.

Theoretisch könnte die Performanz des Modells noch deutlich verbessert werden, indem unter anderem weitere Trainingsbeispiele erstellt werden und zusätzlich eine Hyperparameteroptimierung durchgeführt wird.

Fazit

Named Entity Recognition kann bei der Erstellung von Metadaten von textbasierten Material eine große Hilfe sein. Leider lassen sich auf allgemeinen Texten trainierte Modelle meist nicht auf Texte im Archiv übertragen. Ein Trainieren von eigenen NER-Modellen ist mit guten Ergebnissen und vertretbarem Aufwand möglich. Dabei ist die Gemeinsame Normdatei eine hilfreiche Datenquelle. Jedoch fehlt es vielen kulturellen Institutionen an einem Zugang zu technischem Personal und Infrastruktur. Wir hoffen, dass Lösungen von der NFDI zukünftig diese Lücken schließen können.

Da die bearbeiteten Daten teilweise noch einer Sperrfrist unterliegen, können wir zu diesem Zeitpunkt weder die Daten noch die Modelle bzw. konkrete Ergebnislisten veröffentlichen. Es macht daher auch keinen Sinn eine reproduzierbaren Workflow zu veröffentlichen. ↩︎
Wikipedia Autoren, „Landesarchiv Baden-Württemberg“, Wikipedia – Die freie Enzyklopädie, https://de.wikipedia.org/w/index.php?title=Landesarchiv_Baden-W%C3%BCrttemberg&oldid=223510351 (aufgerufen am 20. Juli 2022). ↩︎
NER erstellt mit spaCy 3.3 en_core_web_lg. ↩︎
Siehe Wikipedia - Precision and recall für Details. ↩︎
Wikipedia Autoren, „Landesarchiv Baden-Württemberg“, Wikipedia – Die freie Enzyklopädie, https://de.wikipedia.org/w/index.php?title=Landesarchiv_Baden-W%C3%BCrttemberg&oldid=223510351 (aufgerufen am 20. Juli 2022). ↩︎
NER erstellt mit spaCy 3.3 de_core_news_lg. ↩︎
NER erstellt mit spaCy 3.3 de_core_news_lg. ↩︎
Siehe Wikipedia - Active Learning. ↩︎
Siehe Rule-based matching und Manual annotation with patters. ↩︎
Siehe Wikipedia - Lemma (Lexikographie) ↩︎
Manual annotation with patters bzw. Prodigy Rezept ner.manual. ↩︎
Manual annotation with suggestions from a model bzw. Prodigy Rezept ner.correct. ↩︎
Prodigy Rezept review ↩︎
spaCy CLI evaluate ↩︎
Language Processing Pipelines bzw. Rule-based matching bzw. EntityRuler. ↩︎
Bei dem regelbasierten Ansatz ist eine Überanpassung nicht zu befürchten, da es sich hier um keinen selbst lernenden Prozess handelt. ↩︎

Wie wir Docker einsetzen

Tue, 08 Jun 2021 00:00:00 +0000

Programme haben Anforderungen an ihre Umgebung. Dies kann ein bestimmtes Betriebssystem sein (Windows, Linux, macOS), eine Laufzeitumgebung für eine Programmiersprache (Python, Java, C#), oder die Verfügbarkeit bestimmter Bibliotheken (GTK, .NET, Qt). Wir wollen uns beim Testen und Evaluieren aber nicht einschränken!

Im FDMLab evaluieren wir Programme und Bibliotheken, die sowohl für den Gebrauch am Rechner, als auch als Serveranwendung entwickelt wurden. Würden wir diese alle auf unserem Testrechner installieren, hätten wir schnell die von Randall Munroe dargestellte Situation erzeugt. Also unser System mit Programmen, Laufzeitumgebungen und Konfigurationsdateien vollgemüllt.

Python Environment von Randall Munroe unter CC BY-NC Lizenz.

Stattdessen versuchen wir - sofern möglich - die zu evaluierenden Programme als Docker Container zu testen. Wie im Eingangsbild symbolhaft dargestellt¹, handelt es sich bei Docker Containern (vereinfacht) um einen Standard um Anwendungen mitsamt ihrer Umgebung zu verpacken und somit auf unterschiedlichen Docker Hosts laufen zu lassen.

Wir verwenden dafür Docker Desktop für Windows.

Docker Container via Browser

--- title: Docker Container via Browser config: look: handDrawn theme: neutral --- flowchart TD subgraph Container[Container] FC[Dateien] Server[[Server]] DB[(Datenbank)] Lib{{Bibliotheken}} end Browser[[Browser]] FU[Dateien] FU <--> FC --> Server Server --> Browser DB --> Server Lib --> Server

Eine Variante Docker zu verwenden, ist mit der Anwendung in dem Container via einer Web GUI im Browser zu interagieren. Ein Beispiel hierfür ist das Projekt OCR4All. Mit dem folgenden PowerShell Befehl wird die Vorlage für einen OCR4All Container (image) aus der Docker Hub Registry heruntergeladen und lokal ein OCR4All Container erstellt.

docker run --rm -it -p 8080:8080 ls6uniwue/ocr4all

Über die Adresse http://localhost:8080 lässt sich die Web GUI des OCR4All Containers aufrufen und bedienen.

Es ist möglich Daten von der eigenen Festplatte mit in den Container einzuhängen (mounten).

docker run --rm -it -p 8080:8080 -v ${PWD}:/var/ocr4all/data ls6uniwue/ocr4all

Docker Container als Skript

Docker Container können ähnliche wie Skripte verwendet werden.

Mit dem folgenden Beispiel wird ein OCR-D Workflow ausgeführt, ohne dass die mehr als 60 unterschiedlichen Prozessoren separat installiert werden müssen.

docker run --rm -v ${PWD}:/data -w /data -- ocrd/all:maximum bash workflow.sh

Das Image ocrd/all:maximum ist mehrere Gigabyte groß!

Wo Docker nicht funktioniert

Es gibt Software, die nicht als Docker Image vorliegt, oder als solche verwendet werden kann. Dazu gehört Software, die eine systemspezifische GUI Bibliothek verwendet.

Beispiele hierfür sind der Page Viewer oder der Transkribus Expert Client. Diese benötigen beide Java als Laufzeitumgebung und stellen ihre GUI mit nativen Betriebssystemkomponenten dar. Docker Container haben keine nativen GUI Komponenten, weshalb diese Programme in einem Docker Container nicht genutzt werden können ².

Unser Fazit

Wir verwenden Docker um schnell und unkompliziert unterschiedlichste Anwendungen evaluieren zu können. Inzwischen kommen Docker Container bei uns auch praktisch zum Einsatz. Zum Beispiel um gemeinsame Projekte reproduzierbar bearbeiten zu können.

Die Standardisierung von Seefracht-Containern zu ISO-Containern optimierte die Transportkette im Güterverkehr. Daher werden standardisierte virtuelle Container häufig mit Fracht-Containern verglichen. ↩︎
Es gibt Bibliotheken, die die nativen GUI Komponenten für Webbrowser darstellen können. Ein Beispiel hierfür ist GTK Broadway. ↩︎

Evaluation | FDMLab@LABW

GND Hierarchieinformationen zur Verbesserung der Erschließung

Schritt 5: Oberbegriffe nachladen

Typen von Oberbegriffen

Mehrere Oberbegriffe

Keine Oberbegriffe

Ähnliche Begriffe

Analyse Subgraph

Analyse GND SubjectHeading Graph

Komponenten und Größen

Anteil von Komponenten bestimmter Größen

Tiefe der Hierarchie

Kindknoten pro Knoten

Fazit

Named-entity Recognition und Gemeinsame Normdatei zur Verbesserung der Erschließung

Motivation: Volltextsuche vs Verschlagwortung

Workflow

NER Ergebnisse und Normalisierung (Workflow Schritte 2 + 3)

Probleme beim Abgleich mit der GND (Workflow Schritt 4)

Teppiche

Porzellan

Musikinstrumente

Fehlende Begriffe

Mehrdeutige Begriffe bei Materialangaben

Fazit

NER Modell mit GND Starthilfe trainieren

NER und Erschließung

NER im Kontext Archiv

Trainieren eines NER Modells

Vorbereitungen

GND Daten extrahieren

GND Daten aufbereiten

Durchführung

Annotation mit Regeln und aktivem Lernen

Evaluation regelbasierter “Modelle”

Ergebnisse

Diskussion

Fazit

Wie wir Docker einsetzen

Docker Container via Browser

Docker Container als Skript

Wo Docker nicht funktioniert

Unser Fazit