Normdaten | FDMLab@LABW

Abschluss Projekt Provenienzforschung: Von Akten zur Onlinequellensammlung

Tue, 07 May 2024 00:00:00 +0000

Friedenssicherung im Dorf um 1600: Forschungsdatenmanagement im Staatsarchiv Wertheim

Thu, 28 Sep 2023 00:00:00 +0000

82. Südwestdeutscher Archivtag 2023

Thu, 22 Jun 2023 11:00:00 +0000

GND in lokale Datenbank laden (reloaded)

Tue, 13 Dec 2022 00:00:00 +0000

Wir setzen unser lokales Testsystem für Experimente mit der Linked Open Data Version der Gemeinsamen Normdatei mit Oxigraph neu auf.

Wir hatten vor über einem Jahr schon einen ausführlichen Artikel zum Laden der GND in einen Apache Jena Triplestore verfasst. Das beschriebene Setup ist nach wie vor im Einsatz und wir sind auch (meistens) zufrieden damit. Jedoch dauert das Einlesen von Daten doch recht lange, was das Aufsetzen von Ad-Hoc Experimenten erschwert.

Daher haben wir als Alternative das relativ neue Projekt Oxigraph getestet.

Datenbank: Oxigraph

Oxigraph Logo.

Das Projekt Oxigraph ermöglicht uns ein ähnliches Setup, wie wir es mit Apache Jena aufgebaut haben. Anders als Apache Jena basiert Oxigraph auf der Programmiersprache Rust und verwendet RocksDB als Datenbank im Hintergrund. Das ist für den Endanwender jedoch nicht sichtbar, so dass diese technischen Details sich hauptsächlich in einer schnelleren Verarbeitungsgeschwindigkeit bemerkbar machen.

Einlesen der Daten

Zum Einlesen haben wir uns die Datei authorities-gnd_lds.nt.gz aus dem DNB Data Dump heruntergeladen. Anders als in unserem Apache Jena Projekt, müssen wir die Komprimierung der Daten vor dem Einlesen mit gzip -d authorities-gnd_lds.nt.gz auflösen. ¹

Wir arbeiten mit der folgenden Ordnerstruktur:

--- title: Ordnerstruktur config: look: handDrawn theme: neutral --- flowchart TD subgraph data[far:fa-folder-open data] fuseki[far:fa-folder oxigraph] gnd_triples[far:fa-folder gnd_triples] end root[far:fa-folder-open oxigraph_test] --> data root --> README[far:fa-file README.md]

README.md: Überblick über das Projekt und die Daten geben!
oxigraph: Ordner zum Persistieren der Datenbank von Oxigraph.
gnd_triples: Speicherort der .nt Datei.

Einlese-Variante 1

In dieser Variante lassen wir zuerst die Daten in einem Container einlesen und dann in einem neuen Container anzeigen. Der folgende Befehl startet einen Docker Container mit dem Verzeichnis der Daten zum Einlesen und einem Verzeichnis zum Speichern der Datenbank.

docker run -it --rm --name=gnd-oxigraph -v "${PWD}/data/gnd_triples:/gnd_triples" -v "${PWD}/data/oxigraph:/data" oxigraph/oxigraph --location /data load --file /gnd_triples/authorities-gnd_lds.nt

Sobald der Einleseprozess beendet wurde und der Container sich schließt, können wir einen neuen Container zum Arbeiten mit den Daten starten.

docker run -d --rm --name=gnd-oxigraph -p 8080:7878 -v "${PWD}/data/oxigraph:/data" oxigraph/oxigraph --location /data serve --bind=0.0.0.0:7878

Anschließend können wir die Benutzeroberfläche in einem Webbrowser über http://localhost:8080 aufrufen. Der Port 8080 wurde hierbei von uns im docker run Befehl gesetzt und kann angepasst werden.

Einlese-Variante 2

Wir können die Daten auch direkt in dem Arbeitscontainer einlesen lassen. Beim Starten des Containers müssen wir dabei zusätzlich den Pfad zu den GND Daten einbinden.

docker run -d --rm --name=gnd-oxigraph -p 8080:7878 -v "${PWD}/data/gnd_triples:/gnd_triples" -v "${PWD}/data/oxigraph:/data" oxigraph/oxigraph --location /data serve --bind=0.0.0.0:7878

Anschließend starten wir den Einleseprozess, indem wir den Befehl oxigraph_server load in dem laufenden Container ausführen.

docker exec -it gnd-oxigraph /usr/local/bin/oxigraph load --location /data --file /gnd_triples/authorities-gnd_lds.nt

3. Anzeigen der Daten

Abschließend testen wir exemplarisch, ob die Daten nutzbar sind. Hierfür verwenden wir eine SPARQL Abfrage mit einem Standardbeispiel aus der GND Ontology.

SELECT ?p ?o
WHERE {
 <https://d-nb.info/gnd/118514091> ?p ?o
}

Zusammenfassung und Ausblick

Oxigraph ist im Vergleich zu Apache Jena noch etwas grob an manchen Stellen und befindet sich noch in der aktiven Entwicklung. Es ist also gut möglich, dass die hier verwendeten Befehle in einer späteren Version nicht mehr so funktioniert oder Schritte wie das Auflösen der .gz-Komprimierung nicht mehr notwendig sind. ²

Bildschirmfoto der Weboberfläche von Oxigraph.

Überrascht waren wir von der Geschwindigkeit, mit der die Daten der GND eingelesen und Abfragen ausgeführt werden können. In der folgenden Tabelle ist ein direkter Vergleich mit unserem Apache Jena Setup für das Einlesens der GND und das Durchführens der Abfrage aus Erste Experimente mit der GND gelistet.

	GND laden	Testabfrage
Apache Jena	5.329,1s	17,5s
Oxigraph	391,0s	3,6s

Das ist natürlich kein ausführlicher oder repräsentativer Benchmark, zeigt aber direkt den Geschwindigkeitsunterschied mit den Daten mit denen wir aktuell arbeiten. Das ermöglichst uns zukünftig Umgebungen für Ad-Hoc Experimente mit der GND zu erstellen.

Wir haben für diesen Blogbeitrag Oxigraph in Version v0.3.8 und den GND Dump vom 13. Oktober 2022 verwendet. ↩︎
Dokumentation zur Verwendung des Oxigraph Docker Image ↩︎

Experiment zur Identifikation von doppelten Orten in der GND

Tue, 21 Jun 2022 00:00:00 +0000

Bei unserer Arbeit mit Orten in der Gemeinsamen Normdatei (GND) stolperten wir hin und wieder über Dubletten. Also Orte, die in der GND mehrfach vorhanden waren. Dieser Beitrag beschreibt, wie wir in einem praktischen Experiment versuchten diese Dubletten innerhalb des Bundeslandes Baden-Württemberg zu identifizieren.

Bildnachweis¹

Hintergrund

In der GND sind nicht nur aktuelle Orte mit einer eindeutigen GND-Nummer verzeichnet, sondern auch historische Orte. Beispielsweise wurde Cannstatt mit Stuttgart vereinigt und ist seit dem 1. April 1905 als Stuttgart-Cannstatt und später Bad Cannstatt ein Stadtteil von Stuttgart.

Auch wurden Gemeinden und Städte im Zuge von Kreis- und Gemeindereformen eingemeindet oder neu gebildet. Beispielsweise wurden Bissingen und Bietigheim im Jahre 1975 zu Bietigheim-Bissingen zusammengelegt.

Diese Form von Mehrfachnennung meinen wir nicht. Wir sind darüber gestolpert, dass es speziell zu historischen Orten in Baden-Württemberg mehrere Einträge gab.

Idee

Wir wollen basierend auf der Ortsnamensdatenbank Baden-Württemberg (ONDB) mögliche Dubletten von Orten in Baden-Württemberg in der GND identifizieren. Die ONDB wurde in einem anderen Projekt in Form einer Datenspende in die GND eingespielt, so dass wir davon ausgehen, dass wir sie als “Referenz” verwenden können. Dafür identifizieren wir alle mit Baden-Württemberg verknüpften Orte in der GND, markieren die Orte, die in der ONDB vorliegen und betrachten anschließend die Restmenge.

Vorgehen

1. ONDB Aufbereitung

Ein Abzug der ONDB wurde im Kontext eines anderen Projektes mit OpenRefine aufgearbeitet, so dass ein Mapping von GND-ID auf ONDB-ID möglich ist. Wie so ein Mapping funktioniert, ist unter Daten zwischen Projekten in OpenRefine abgleichen beschrieben.

2. GND in Triple-Store laden

Wie unter Erste Experimente mit der GND beschrieben, wurde die GND in ihrer LOD-Form in einen Apache Jena Docker Container geladen. ²

3. Daten aus Triple-Store laden

Mit SPARQL-Abfragen werden die Daten aus dem Apache Jena Triple-Store extrahiert.

4. Dubletten identifizieren

Mit Hilfe der ODNB, Clustering Methoden in OpenRefine und externen Skripten mögliche Dubletten identifizieren und manuell prüfen.

SPARQL Abfrage(n)

wir haben verschiedene Methoden getestet, verworfen und kombiniert, um die für uns relevanten Orte in der GND zu identifizieren und via SPARQL aus dem Apache Jena Triple-Store laden zu können.

Angaben zur Quelle

In der GND ist auch die Quelle einer Dateninformation erfasst, also zum Beispiel die ONDB oder das Landesarchiv Baden-Württemberg als Datenquelle genannt. Diese Information ist in der LOD-Form der GND leider nicht enthalten. Daher konnten wir diese Information nicht als zusätzliche Informationsquelle für unsere Filter nutzen.

Verknüpfung über Hierarchie

Theoretisch sollten wir über den Property-Path Hierarchical superior of place or geographic name alle untergeordneten Orte von Baden-Württemberg finden können.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>

SELECT DISTINCT ?place
WHERE {
 ?place gndo:hierarchicalSuperiorOfPlaceOrGeographicName+ gnd:4004176-1 .
}

Diese Eigenschaft ist jedoch nicht konsequent und speziell für historische Orte gar nicht erfasst. Daher haben wir diesen Ansatz verworfen.

Verknüpfung über Ländercode

Theoretisch sollten wir über die Verknüpfung mit dem Ländercode (Geographic Area Code) alle mit Baden-Württemberg (XA-DE-BW) verknüpften Orte erfassen können.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>
PREFIX gnd-area-code: <https://d-nb.info/standards/vocab/gnd/geographic-area-code#>
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>

SELECT DISTINCT ?place
WHERE {
 ?place gndo:geographicAreaCode gnd-area-code:XA-DE-BW ;
 rdf:type ?type .
 ?type rdfs:subClassOf* gndo:PlaceOrGeographicName .
}

Hier sind uns zwei Probleme aufgefallen:

die Property-Path-Extension rdfs:subclassOf* funktioniert nicht, wir konnten jedoch nicht klären ob das ein Problem mit Apache Jena oder mit den GND-Daten ist.
Nicht alle Orte in Baden-Württemberg sind mit dem Ländercode XA-DE-BW angelegt, sondern einige auch ausschließlich mit dem Ländercode für Deutschland XA-DE.

Verknüpfung über Ländercode mit Aufzählung aller (Sub-)Klassen

Da die Property-Path Extension auf rdfs:subClassOf nicht funktioniert hat, listen wir die für uns relevanten (Sub-)Klassen alle einzeln auf.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>
PREFIX gnd-area-code: <https://d-nb.info/standards/vocab/gnd/geographic-area-code#>
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>

SELECT DISTINCT ?place
WHERE {
 VALUES ?geographicType
 {
 gndo:PlaceOrGeographicName
 gndo:AdministrativeUnit
 gndo:BuildingOrMemorial
 gndo:NameOfSmallGeographicUnitLyingWithinAnotherGeographicUnit
 gndo:NaturalGeographicUnit
 gndo:ReligiousTerritory
 gndo:TerritorialCorporateBodyOrAdministrativeUnit
 }
 ?place gndo:geographicAreaCode gnd-area-code:XA-DE-BW ;
 rdf:type ?geographicType .
}

Anzahl pro (Sub-)Klasse

Die folgende Abfrage zählt, wie häufig die entsprechenden Typen für Orte in Baden-Württemberg in der GND vorkommen.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>
PREFIX gnd-area-code: <https://d-nb.info/standards/vocab/gnd/geographic-area-code#>
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>

SELECT DISTINCT ?geographicType (count(?geographicType) as ?count)
WHERE {
 VALUES ?geographicType
 {
 gndo:PlaceOrGeographicName
 gndo:AdministrativeUnit
 gndo:BuildingOrMemorial
 gndo:NameOfSmallGeographicUnitLyingWithinAnotherGeographicUnit
 gndo:NaturalGeographicUnit
 gndo:ReligiousTerritory
 gndo:TerritorialCorporateBodyOrAdministrativeUnit
 }
 ?place gndo:geographicAreaCode gnd-area-code:XA-DE-BW ;
 rdf:type ?geographicType .
} GROUP BY ?geographicType

In der folgenden Tabelle ist das Ergebnis für die obige SPARQL-Abfrage dargestellt:

geographicType	count
AdministrativeUnit	423
NaturalGeographicUnit	537
PlaceOrGeographicName	4205
ReligiousTerritory	68
TerritorialCorporateBodyOrAdministrativeUnit	23685
BuildingOrMemorial	3711
NameOfSmallGeographicUnitLyingWithinAnotherGeographicUnit	99

DE-Ländercode mit Nachfolger (oder Vorgänger) in BW

Bei den Orten, die mit dem Ländercode XA-DE für Deutschland angelegt wurden, ergab sich ein Muster. Diese hatten häufig einen Vorgänger oder Nachfolger, der mit dem Ländercode XA-DE-BW für Baden-Württemberg verknüpft war.

Die folgende SPARQL-Abfrage zeigt, wie diese Orte abgefragt werden können.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>
PREFIX gnd-area-code: <https://d-nb.info/standards/vocab/gnd/geographic-area-code#>
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>

SELECT DISTINCT ?place
WHERE {
 VALUES ?geographicType
 {
 gndo:PlaceOrGeographicName
 gndo:AdministrativeUnit
 gndo:BuildingOrMemorial
 gndo:NameOfSmallGeographicUnitLyingWithinAnotherGeographicUnit
 gndo:NaturalGeographicUnit
 gndo:ReligiousTerritory
 gndo:TerritorialCorporateBodyOrAdministrativeUnit
 }
 ?place gndo:geographicAreaCode gnd-area-code:XA-DE ;
 rdf:type ?geographicType ;
 (gndo:precedingPlaceOrGeographicName+ | gndo:succeedingPlaceOrGeographicName+) ?relatedPlace .
 ?relatedPlace gndo:geographicAreaCode gnd-area-code:XA-DE-BW .
}

Finale SPARQL-Abfrage

Die folgende SPARQL-Abfrage kombiniert die Orte, die mit dem XA-DE-BW für Baden-Württemberg angelegt wurden mit denen, die einen mit dem Ländercode XA-DE-BW für Baden-Württemberg verknüpften Vorgänger oder Nachfolger haben.

Zusätzlich werden noch die Eigenschaften Bevorzugter Name des Geographikums und die Definition abgefragt. Da diese nicht zuverlässig gesetzt wurden, sind sie als OPTIONAL gekennzeichnet.

Da wir die GND-ID eindeutig halten wollen, diese aber gegebenenfalls mit mehreren geographischen Typen verknüpft sein kann, nutzen wir eine Gruppierung via GROUP BY um doppelte GND-IDs zu filtern.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>
PREFIX gnd-area-code: <https://d-nb.info/standards/vocab/gnd/geographic-area-code#>
PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>

SELECT ?place (SAMPLE(?geographicType) as ?GeographicType) (SAMPLE(?preferredName) as ?PreferredName) (SAMPLE(?definition) as ?Definition)
WHERE {
 VALUES ?geographicType
 {
 gndo:PlaceOrGeographicName
 gndo:AdministrativeUnit
 gndo:BuildingOrMemorial
 gndo:NameOfSmallGeographicUnitLyingWithinAnotherGeographicUnit
 gndo:NaturalGeographicUnit
 gndo:ReligiousTerritory
 gndo:TerritorialCorporateBodyOrAdministrativeUnit
 }
 {
 ?place gndo:geographicAreaCode gnd-area-code:XA-DE-BW ;
 rdf:type ?geographicType .
 OPTIONAL {
 ?place gndo:preferredNameForThePlaceOrGeographicName ?preferredName
 }.
 OPTIONAL {
 ?place gndo:definition ?definition
 }.
 }
 UNION
 {
 ?place gndo:geographicAreaCode gnd-area-code:XA-DE ;
 rdf:type ?geographicType ;
 (gndo:precedingPlaceOrGeographicName+ | gndo:succeedingPlaceOrGeographicName+) ?relatedPlace .
 ?relatedPlace gndo:geographicAreaCode gnd-area-code:XA-DE-BW .
 OPTIONAL {
 ?place gndo:preferredNameForThePlaceOrGeographicName ?preferredName
 }.
 OPTIONAL {
 ?place gndo:definition ?definition
 }.
 }
} GROUP BY ?place

Ergebnisse

Mit der oben beschriebenen SPARQL-Abfrage konnten etwa 33.000 zu Baden-Württemberg zuordenbare Orte aus der GND in unserem Apache Jena Triple-Store extrahiert werden.

Innerhalb dieser Daten konnten etwa 600 eindeutige Dubletten und deren Ursprung identifiziert und der GND Fachstelle zur Korrektur vorgelegt werden. Das entspricht etwa zwei Prozent der gefunden Daten.

Bei der Analyse der Dubletten ist aufgefallen, dass nach wie vor die historische Vorbelastung der GND durch die Verschmelzung der Gemeinsamen Körperschaftsdatei (GKD) mit der Schlagwortnormdatei (SWD) für einen Großteil der Dubletten verantwortlich war. Zusätzlich gab es einzelne Datenlieferungen, die ebenfalls für Dubletten geführt haben.

Beim Identifikationsprozess für Dubletten ist aufgefallen, dass besonders das unterschiedliche Vorgehen bei der “Vorzugsbenennung” eines Ortes zu den vielen nicht offensichtlichen Dubletten geführt hat. Beispielsweise lässt sich Bad Cannstatt auch als Stuttgart-Cannstatt benennen, was weder bei einer alphabetischen Sortierung, noch bei den meisten Standardverfahren zum algorithmischen Abgleich von Dubletten auffällt.

Insgesamt haben wir vermutlich auch nur einen Teil der Dubletten für Orte in Baden-Württemberg in der GND identifiziert. Unter anderem fallen alle Orte durch unsere Suchfilter, die Baden-Württemberg nicht als Geographic Area Code definiert haben und auch keine mit Baden-Württemberg verknüpften Vorgänger oder Nachfolger haben.

Das Bild “Doppelte Orte in der GND identifizieren” wurde erstellt mit Bildern von Peggy und Marco Lachmann-Anke und Gerd Altmann auf Pixabay und dem “Logo Gemeinsame Normdatei (GND)” von Deutsche Nationalbibliothek (DNB), welches lizenziert ist unter einer CC BY-SA 4.0 Lizenz. Das Bild “Doppelte Orte in der GND identifizieren” ist ebenfalls lizenziert unter einer CC BY-SA 4.0 Lizenz. ↩︎
Der für dieses Experiment verwendete Abzug ist authorities_lds_20211013.nt.gz. ↩︎

Experimente mit Visualisierungen für Sachbegriffe in der GND

Tue, 24 May 2022 00:00:00 +0000

Die Gemeinsame Normdatei (GND) enthält unter anderem semantische Daten zu Sachbegriffen. In diesem Beitrag experimentieren wir mit Visualisierungen für Sachbegriffe in der GND, um die Daten und die Ontologie dahinter besser kennen zu lernen.

Wie im obigen Bild¹ thematisiert, beinhaltet die als Linked Open Data (LOD) zur Verfügung gestellte GND einen komplexen Graphen mit verlinkten Daten, deren Verlinkung und Struktur sich auf Grund ihrer Komplexität für Außenstehende nicht auf Anhieb verständlich gestaltet.

Im Bereich der Sachbegriffe (Subject Heading) gibt es mehrere Konzepte zur Gruppierung. Es gibt die GND-Sachgruppen und verschiedene Arten von Oberbegriffen².

Um die Daten und deren Verknüpfungen besser zugänglich zu machen, gibt es auch das am 31. Mai von der DNB als beta freigegebene Projekt GND-Explorer.

In Kooperation mit Katharina Hardt von dem Projekt Provenienzforschung am Hauptstaatsarchivs Stuttgart hatten wir im FDMLab ein konkretes Problem, wofür wir eine visuelle Unterstützung benötigten. Dafür haben wir ein Experiment zur Visualisierung von GND Sachbegriffen umgesetzt, über welches wir im Folgenden berichten. ³

Es handelt sich bei der GND Hierarchie Visualisierung um ein prototypisch umgesetztes Experiment und nicht um eine produktive Anwendung!

Die Ludwigsburger Porzellantasse

Eine Frage, die wir uns im Kontext der Provenienzforschung gestellt hatten, ist die mögliche Verschlagwortung mit Normdatenverknüpfung für den Begriff Ludwigsburger Porzellantasse.

Die Ludwigsburger Porzellantasse gibt es nicht als Sachbegriff in der GND. Die aus unserer Sicht passenden Begriffe in der GND sind Ludwigsburger Porzellan und Porzellantasse.

Dabei stellten wir uns die folgenden Fragen:

Haben die beiden Begriffe einen gemeinsamen Oberbegriff?
Gehören die beiden Begriffe zu einer gemeinsamen Sachgruppe?
Ist Porzellan ein gemeinsamer Oberbegriff?
Ist Geschirr ein Oberbegriff von Porzellantasse?
Wie verhält sich der Begriff Porzellanfigur ⁴ im Kontext der beiden Begriffe?

Diese Antworten auf diese Fragen lassen sich im Einzelnen auch via der Weboberflächen von der DNB, lobid, OGND oder in OpenRefine manuell recherchieren. Bei mehreren Begriffen, ist dieses Vorgehen jedoch langwierig.

Daher haben wir basierend auf dem lobid GND API, dem Frontend-CSS-Framework Bootstrap und dem JavaScript Framework Mermaid prototypisch eine Webanwendung zur GND Hierarchie Visualisierung von Sachbegriffen umgesetzt, die es uns ermöglicht die oben genannten Antworten zu den obigen Fragen zu visualisieren und zu beantworten.

Das nächste Diagramm zeigt ein bearbeitetes Beispiel zu der Hierarchie der Oberbegriffe von Ludwigsburger Porzellan, Porzellantasse und Porzellanfigur.

flowchart LR 4175414-1(["Porzellantasse"]):::initial 4184488-9["Tasse"] 4175411-6(["Porzellanfigur"]):::initial 4046277-8["Plastik"] 4046851-3["Porzellan"] 4168206-3(["Ludwigsburger Porzellan"]):::initial 4124863-6["Essgeschirr"] 4186181-4["Trinkgefäß"] 4181363-7["Silicatkeramik"] 4153870-5["Feinkeramik"] 4140542-0["Geschirr"] 4128003-9["Gefäß"] 4030282-9["Keramischer Werkstoff"] 4030271-4["Keramik"] 4132060-8["Hausrat"] 4020299-9["Gerät"] 4065579-9["Werkstoff"] 4169078-3["Material"] 4037940-1["Materie"] 4175414-1-->4184488-9 4175411-6-->4046277-8 4175411-6-->4046851-3 4168206-3-->4046851-3 4184488-9-->4124863-6 4184488-9-->4186181-4 4046851-3-->4181363-7 4046851-3-->4153870-5 4124863-6-->4140542-0 4186181-4-->4128003-9 4181363-7-->4030282-9 4153870-5-->4030271-4 4140542-0-->4132060-8 4128003-9-->4020299-9 4030282-9-->4065579-9 4065579-9-->4169078-3 4169078-3-->4037940-1 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000;

Laut unserem Diagramm ist der Begriff Geschirr ein Oberbegriff zur Porzellantasse. Die Porzellanfigur und das Ludwigsburger Porzellan haben Porzellan als gemeinsamen Oberbegriff, die Porzellantasse jedoch nicht. Es gibt keinen gemeinsamen Oberbegriff für alle Begriffe, sie gehören jedoch, zur GND-Sachgruppe Kunsthandwerk (siehe nächstes Diagramm).

flowchart LR 4175414-1(["Porzellantasse"]):::initial cat0[["Kunsthandwerk"]]:::category 4175411-6(["Porzellanfigur"]):::initial cat1[["Plastik"]]:::category 4168206-3(["Ludwigsburger Porzellan"]):::initial 4175414-1-->cat0 4175411-6-->cat1 4175411-6-->cat0 4168206-3-->cat0 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000;

Gemeinsamer Oberbegriff für Bilder?

Bei den GND Sachbegriffen für Acrylbild, Aquarell, Lithografie, Ölgemälde, Radierung und Pastellzeichnung fragten wir uns, ob diese einen gemeinsamen Oberbegriff wie Bild oder Bildliche Darstellung haben. ⁵

flowchart LR 4132048-7(["Acrylbild"]):::initial 4037220-0["Malerei"] 4002511-1(["Aquarell"]):::initial 4036042-8(["Lithografie"]):::initial 4154503-5["Flachdruck"] 4043238-5(["Ölgemälde"]):::initial 4048166-9(["Radierung"]):::initial 4113357-2["Druckgrafik"] 4075923-4(["Pastellzeichnung"]):::initial 4124801-6["Drucktechnik"] 4021845-4["Grafik"] 4021850-8["Graphische Technik"] 4794555-2["Medientechnik"] 4145419-4["Bildliche Darstellung"] 4132048-7-->4037220-0 4002511-1-->4037220-0 4036042-8-->4154503-5 4043238-5-->4037220-0 4048166-9-->4113357-2 4075923-4-->4037220-0 4154503-5-->4124801-6 4113357-2-->4021845-4 4124801-6-->4021850-8 4124801-6-->4794555-2 4021845-4-->4145419-4 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000;

Wie im obigen Diagramm abzulesen, ist das nicht der Fall. Interessant ist hier, dass die Pastellzeichnung mit Acrylbild, Aquarell und Ölgemälde als gemeinsamen Oberbegriff in die Malerei verortet wurde, die Pastellzeichnung im nächsten Diagramm aber mit der Radierung und der Lithografie in die GND-Sachgruppe Zeichnung, Grafik eingeordnet wird.

flowchart LR 4132048-7(["Acrylbild"]):::initial cat0[["Malerei"]]:::category 4002511-1(["Aquarell"]):::initial 4036042-8(["Lithografie"]):::initial cat1[["Zeichnung, Grafik"]]:::category cat2[["Papierherstellung, Grafische Technik"]]:::category 4043238-5(["Ölgemälde"]):::initial 4048166-9(["Radierung"]):::initial 4075923-4(["Pastellzeichnung"]):::initial 4132048-7-->cat0 4002511-1-->cat0 4036042-8-->cat1 4036042-8-->cat2 4043238-5-->cat0 4048166-9-->cat1 4075923-4-->cat1 classDef default fill:#FFF,stroke:#0088c9,stroke-width:3px,color:#000; classDef category fill:#FFF,stroke:#1fbeb8,stroke-width:3px,color:#000; classDef initial fill:#FFF,stroke:#4dbd05,stroke-width:3px,color:#000;

Fazit

Mit wenig Aufwand, auch Dank dem GND API von lobid, konnten wir eine Webanwendung umsetzen, mit der wir die Sachbegriffe in der GND besser kennen lernen können. Die nachträglich bearbeitbaren Visualisierungen helfen uns bei der Projektdokumentation und bei der Kommunikation mit unseren Fachkollegen.

GND Hierarchie Visualisierung selbst ausprobieren

Das Bild “GND Sachbegriffe visualisieren” wurde erstellt mit Bildern von Peggy und Marco Lachmann-Anke und Gerd Altmann auf Pixabay und dem “Logo Gemeinsame Normdatei (GND)” von Deutsche Nationalbibliothek (DNB), welches lizenziert ist unter einer CC BY-SA 4.0 Lizenz. Das Bild “GND Sachbegriffe visualisieren” ist ebenfalls lizenziert unter einer CC BY-SA 4.0 Lizenz. ↩︎
Broader term, Broader term (general), Broader term (generic), Broader term (instantial), Broader term (partitive), Broader term (with more than one element) ↩︎
Danke hier auch an die GND-Agentur LEO-BW-Regional für ein erstes Feedback! ↩︎
Die Vorzugsbenennung für Porzellanfigur in der GND ist Porzellanplastik. Wir verwenden hier im Artikel teilweise offiziell in der GND gelistete Synonyme für Sachbegriffe, wenn sie besser in unsere Erzählstruktur passen. ↩︎
In der GND ist teilweise die Bildart und teilweise die entsprechende Maltechnik die Vorzugsbenennung. Also Aquarellmalerei ist ein Synonym für den Vorzugsbegriff Aquarell und Ölgemälde ist ein Synonym für den Vorzugsbegriff Ölmalerei. Für eine einheitliche Erzählstruktur, haben wir uns daher teilweise für die Verwendung der Synonyme in unserem Text und den Diagrammen entschieden. ↩︎

Verborgene Datenschätze heben: Das FDMLab experimentiert mit KI im Archiv

Thu, 28 Apr 2022 00:00:00 +0000

Workshop - Reconciling mit OpenRefine und der GND

Fri, 01 Apr 2022 00:00:00 +0000

Wir nutzen die Daten der GND über OpenRefine, gleichen damit Daten ab und laden Daten nach.

Reconciling in der OpenRefine Dokumentation.

Dieser Workshop wurde erstellt mit OpenRefine Version 3.5.0.
Dieser Workshop wurde zuletzt getestet mit OpenRefine Version 3.9.3.

Hintergrund

Die Gemeinsame Normdatei (GND) wird als Linked Open Data (LOD) angeboten. Das ermöglicht uns Daten mit eindeutigen Identifikatoren (GND-ID) zu verknüpfen.

Mit OpenRefine können wir mit der GND zwei Dinge tun:

basierend auf GND-IDs weitere Daten nachladen (Aufgabe 1).
via Reconciliation Service GND-IDs für Entitäten suchen (Aufgabe 2).

Kurzer Exkurs zur GND als LOD

Die GND als LOD bedeutet, dass die Daten nicht in einer klassischen Datenbank angeboten werden, sondern mit einer Ontologie versehen wurden. Die Hierarchie der Ontologie ist in Abbildung 1 visualisiert.

Visualisierung der GND Ontologie, mit den für uns relevanten Bereichen Personen, Orte und Dinge.

Neben den Typen der Objekte in der GND Ontologie gibt es auch vordefinierte Verbindungen zwischen diesen Objekten. Ein Beispiel ist im folgenden Diagramm für einen Teil der GND-Daten für Winfried Kretschmann gezeigt. Beispielsweise gibt es die bidirektionale Verbindung hasSpouse, zwischen ihm und Gerlinde Kretschmann. Oder die unidirektionale Verbindung placeOfBirth zwischen der Person Winfried Kretschmann und dem Ort Spaichingen.

--- title: Visualisierung zu Objekten und Verbindungen in der GND config: look: handDrawn theme: neutral --- flowchart LR subgraph place["fa:fa-map-marked Place"] spaichingen["Spaichingen"] laiz["Laiz"] end subgraph person["fa:fa-user Person"] kretschmann_winfried["Kretschmann, Winfried"] kretschmann_gerlinde["Kretschmann, Gerlinde"] end subgraph shss["fa:fa-tag Subject heading senso stricto"] politiker["Politiker"] politikerin["Politikerin"] lehrer["Lehrer"] lehrerin["Lehrerin"] end kretschmann_winfried <-- hasSpouse --> kretschmann_gerlinde kretschmann_winfried -- professionOrOccupation --> politiker & lehrer kretschmann_gerlinde -- professionOrOccupation --> lehrerin kretschmann_winfried -- placeOfBirth --> spaichingen kretschmann_gerlinde -- placeOfBirth --> laiz kretschmann_winfried -- placeOfActivity --> laiz lehrer <-- relatedTerm --> lehrerin politiker <-- relatedTerm --> politikerin

Optional kann in einer Ontologie festgelegt werden, dass zum Beispiel eine Verbindung wie placeOfBirth nur zwischen einer Person und einem Ort existieren kann.

Vorbereitung

Datensatz laden

Wir erstellen eine neues Projekt mit dem Namen “Kretschmann Kabinett III” aus der Datei 06_kretschmann-kabinett-iii.csv.

💾 Wir benötigen die folgende Datei (Rechtsklick und “Ziel speichern unter…”):

Kretschmann III als CSV

Diese Datei besteht nur aus einer Spalte mit GND-IDs.

Reconciliation Service hinzufügen

Die GND selbst wird von der DNB aktuell als kompletter Datensatz zur Verfügung gestellt und nicht als Service. Daher nutzen wir den GND Service von lobid. Über diesen kann die GND via einer Online-Oberfläche durchsucht werden. Es gibt aber auch einen so genannten Reconciliation Service, mit dem direkt via OpenRefine Daten mit den Daten in der GND abgeglichen werden können.

Dafür fügen wir den Service zu OpenRefine hinzu. Im Spaltenmenü finden wir den in Abbildung 2 gezeigten Dialog über “GND-ID" "Reconcile" "Start reconciling”.

Bildschirmfoto von OpenRefine Reconciliation Services.

Über “Add Standard Service” geben wir die folgende URL ein:

https://lobid.org/gnd/reconcile/

Aufgabe 1: Daten nachladen

Wir wollen die folgenden Spalten zu unserem Datensatz aus der GND ergänzen:

Name der Person
Geburtsdatum
Geburtsort
GND-ID des Geburtsortes
Liste der Berufe der Person

Dafür nutzen wir im Spaltenmenü der Spalte “GND-ID” die Funktion “GND-ID" "Reconcile" "Use values as identifiers” und wählen den Service “GND reconciliation for OpenRefine” aus.

Anschließend können wir ebenfalls über das Spaltenmenü mit “GND-ID" "Edit column" "Add column from reconciled values…” weitere Daten nachladen.

Das Ergebnis sieht dann ungefähr wie in Abbildung 3 aus.

Bildschirmfoto von OpenRefine Ergebnis.

Hinweise:

Die Spaltennamen stimmen nicht unbedingt mit der Bezeichnung in der GND überein.
Die GND-ID des Geburtsortes erhalten wir über die Spalte “Geburtsort”.
Sollten Sie für Zeilen keine Ergebnisse erhalten, prüfen Sie ob sich ggf. noch Leerzeichen im Datensatz befinden.

Aufgabe 2: Daten verknüpfen

Hierfür verwenden wir den Gurs-Datensatz, der uns über den kompletten Workshop begleitet.

In der Spalte “Geburtsort” sind nicht alle Orte mit GND-IDs verknüpft. Wir filtern diese Orte und verknüpfen sie mit GND-IDs.

Dafür nutzen wir im Spaltenmenü der Spalte “Geburtsort" "Reconcile" "Start reconciling” und wählen den Service “GND reconciliation for OpenRefine” aus.

Bildschirmfoto des gefilterten Gurs Datensatzes mit Reconciliation Vorschlägen.

Die GND-ID können wir anschließend wie in Aufgabe 1 als extra Spalte hinzufügen. Anschließend verbinden wir die neue Spalte “GND-Nummer” mit der Spalte “Geburtsort (GND-ID)” (siehe Aufgabe 5 in 03 Daten mit OpenRefine umwandeln).

Fazit

Durch die Implementierung und Integration des Reconciliation Service API in OpenRefine und der GND von dem hbz gestaltet sich der Abgleich von ganzen Datensätzen mit der GND auch für technische Laien als machbar. Im Workshop für Fortgeschrittene besprechen wir, wie wir die Treffer beim Abgleich mit dem lobid API verbessern können.

Im nächsten Teil beschäftigen wir uns mit dem Abgleich von Daten in OpenRefine mit Wikidata.

07 Reconciling mit OpenRefine und Wikidata

Erste Experimente mit der GND

Tue, 29 Jun 2021 00:00:00 +0000

Die Gemeinsame Normdatei (GND) enthält unter anderem semantische Daten zu Personen und Orten. In diesem Beitrag verwenden wir SPARQL um die Daten und die Ontologie dahinter besser kennen zu lernen.

Wir versuchen mit der GND die folgende Frage zu beantworten:

Welche Berufe gab es Nürnberg im 17. Jahrhundert.

Zur Beantwortung dieser Frage verwenden wir unseren lokalen Apache Jena Server. Die SPARQL-Anfragen können entweder in der Web GUI von Apache Jena ausgeführt werden, oder mit einer der vielen SPARQL-Clients¹.

Lade Beispielperson

In der GND Ontology sind einige Beispiel Entities genannt. Wir laden hier das Beispiel für eine Individualisierte Person der GND ID 118514091.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>

SELECT ?p ?o
WHERE {
 gnd:118514091 ?p ?o .
}

p	o
http://www.w3.org/1999/02/22-rdf-syntax-ns#type	gndo:DifferentiatedPerson
http://www.w3.org/2002/07/owl#sameAs	http://www.wikidata.org/entity/Q5383
gndo:gndIdentifier	118514091
gndo:preferredNameForThePerson	Bowie, David
gndo:biographicalOrHistoricalInformation	spielt zahlreiche Instrumente
gndo:homepage	http://www.davidbowie.com
gndo:placeOfBirth	gnd:4074335-4
gndo:placeOfDeath	gnd:4042011-5
gndo:dateOfBirth	1947-01-08
gndo:dateOfDeath	2016-01-10
gndo:professionOrOccupation	gnd:4040841-3
gndo:professionOrOccupation	gnd:4032009-1
gndo:professionOrOccupation	gnd:4052154-0
gndo:professionOrOccupation	gnd:4124099-6
gndo:professionOrOccupation	gnd:4167564-2
gndo:professionOrOccupation	gnd:7628944-8
…	…

Die Anzahl der Trippel wurde aus Darstellungsgründen gekürzt. Bei der Person handelt es sich um David Bowie. Wir erhalten unter anderem weitere Verweise auf andere Graphen mit Informationen über David Bowie, persönliche Daten über ihn, sowie eine Liste in der GND definierter Berufe und Tätigkeiten, die er ausgeübt hat.

Berufe und Tätigkeiten von David Bowie

Als Nächstes suchen wir die Berufe und Tätigkeiten von David Bowie und berücksichtigen dabei auch alternativen Schreibweisen und Bezeichnungen der Berufe. Dafür verwenden wir die Verbindung professionOrOccupation. Alternativ gibt es die Verbindung professionOrOccupationAsLiteral, die in unseren Tests aber einige fehlerhaft geparste Daten beinhaltete (Zahlen, Buchstaben, …) oder Zusatzinformationen lieferte (z.B. Zeitraum in der eine Tätigkeit ausgeübt wurde). Der Beruf ist in der GND als Schlagwort (engl. subject heading) hinterlegt. Daher holen wir uns für das Schlagwort die bevorzugte Bezeichnung und alternative Bezeichnungen.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>

SELECT DISTINCT ?job
WHERE {
 gnd:118514091 gndo:professionOrOccupation ?jobId .
 ?jobId gndo:preferredNameForTheSubjectHeading|gndo:variantNameForTheSubjectHeading ?job .
}

Musiker, Musikschaffender, Komponist, Tonsetzer, Schauspieler, Darsteller (Schauspieler), Sänger, Konzertsänger, Librettist, Textdichter (Librettist), Bandleader, ld

Zur Übersichtlichkeit haben wir an dieser Stelle eine Listendarstellung für die Ergebnisse gewählt.

Berufe und Tätigkeiten in Nürnberg (fixiert)

Nachdem wir herausgefunden haben, wie wir die Berufe und Tätigkeiten einer Person aus der GND auslesen können, verknüpfen wir diese Information mit einem Ort. Konkret mit dem Ort Nürnberg, welches die GND ID 4042742-0 hat. Hierfür suchen wir zuerst nach Personen, die über eine Auswahl von Eigenschaften (z.B. Geburtsort) mit Nürnberg verknüpft sind und suchen dann nach deren Berufsbezeichnungen.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>

SELECT DISTINCT ?job
WHERE {
 ?person gndo:placeOfBirth|gndo:placeOfDeath|gndo:placeOfActivity|gndo:placeOfExile|gndo:characteristicPlace gnd:4042742-0 ;
 gndo:professionOrOccupation ?jobId .
 ?jobId gndo:preferredNameForTheSubjectHeading|gndo:variantNameForTheSubjectHeading ?job .
}
LIMIT 20

Künstler, Bildender Künstler, Künstlertum, Kunstschaffender, Grafiker, Graphiker, Kupferstecher, Maler, Mathematiker, Diplommathematiker, Zeichner, Musiker, Musikschaffender, Dirigent, Orchesterleiter, Chorleiter, Chorregent, Chordirektor, Chormeister, Chordirigent

Um eine übersichtliche Ergebnismenge zu erhalten, haben wir die Anzahl der Ergebnisse auf 20 limitiert.

Berufe und Tätigkeiten in Nürnberg (frei)

In der letzten Anfrage haben wir die Art der Verknüpfung von Personen mit dem Ort Nürnberg fixiert. Dazu gehört ein intensives Studieren der GND Ontoloy.

Es geht auch einfacher. In der folgenden Anfrage suchen wir nach Personen, die in irgendeiner Beziehung zu Nürnberg stehen (?person ?p gnd:4042742-0) und suchen dann die Berufsbezeichnungen.

Theoretisch erhöhen wir dadurch die Trefferquote, verringern aber die Genauigkeit. Praktisch spielte das in unseren Experimenten keine Rolle.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>

SELECT DISTINCT ?job
WHERE {
 ?person ?p gnd:4042742-0 ;
 gndo:professionOrOccupation ?jobId .
 ?jobId gndo:preferredNameForTheSubjectHeading|gndo:variantNameForTheSubjectHeading ?job .
}
LIMIT 20

Künstler, Bildender Künstler, Künstlertum, Kunstschaffender, Grafiker, Graphiker, Kupferstecher, Maler, Mathematiker, Diplommathematiker, Zeichner, Physiker, Astronom, Astronomen, Kartograf, Kartograph, Pfarrer, Pastor, Evangelischer Theologe, Theologe / Evangelische Kirche

Die Ergebnisse dieser Vorschau unterscheiden sich von der letzten Abfrage, da der Graph in einer anderen Reihenfolge traversiert wird. Vergleicht man die Gesamtmenge der Ergebnisse, dann unterscheiden sie sich nur in der Reihenfolge der Elemente.

Berufe und Tätigkeiten in Nürnberg im 17. Jahrhundert

Um die Anfrage aus dem letzten Beispiel auf das 17. Jahrhundert einzuschränken, fügen wir einen Filter für das Geburtsdatum und das Sterbedatum der Personen hinzu.

Der Vollständigkeit halber, haben wir gndo:dateOfBirth und gndo:dateOfDeath optional gesetzt. Das verhindert, dass wir ungewollt Personen filtern, bei denen eines der beiden Daten fehlt. Daher brauchen wir noch ein extra Filterkriterium, welches das Geburtsdatum nach unten und das Todesdatum nach oben beschränkt².

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>
PREFIX xsd: <http://www.w3.org/2001/XMLSchema#>

SELECT DISTINCT ?job
WHERE {
 ?person ?p gnd:4042742-0 ;
 gndo:professionOrOccupation ?jobId .
 ?jobId gndo:preferredNameForTheSubjectHeading|gndo:variantNameForTheSubjectHeading ?job .
 OPTIONAL { ?person gndo:dateOfBirth ?birthDay . }
 OPTIONAL { ?person gndo:dateOfDeath ?deathDay . }
 FILTER ( bound(?birthDay) || bound(?deathDay) ) .
 FILTER ( bound(?birthDay) && ?birthDay >= "1501-01-01"^^xsd:date && ?birthDay < "1701-01-01"^^xsd:date ) .
 FILTER ( bound(?deathDay) && ?deathDay >= "1601-01-01"^^xsd:date && ?deathDay < "1801-01-01"^^xsd:date ) .
}
LIMIT 20

Kupferstecher, Zeichner, Künstler, Bildender Künstler, Künstlertum, Kunstschaffender, Maler, Radierer, Buchhändler, Buchführer, Drucker, Buchdrucker, Verleger, Verlagsbuchhändler, Verlagsleiter, Musikverleger, Pfarrer, Pastor, Jurist, Rechtswissenschaftler

Methodische Probleme

Bevor wir mit diesen Ergebnissen versuchen spezifische Aussagen zu treffen, sollten wir zuerst einige methodische Probleme betrachten.

💼 Beruf und 🏠 Ort

Die Verknüpfung von Beruf und Ort lässt sich in der GND nur über eine 👤 Person herstellen. Mit den vorliegenden Daten kann jedoch nicht festgestellt werden, ob die 👤 Person den Beruf (oder die Tätigkeit) auch an diesem Ort ausgeübt hat. Zum Beispiel wurde Albert Einstein in Ulm geboren, hat den Beruf des Physikers dort jedoch nie ausgeübt.

📅 Zeit und 🏠 Ort

Mit dem Filter auf Geburtsdatum und Sterbedatum haben wir zwar eine grobe Einschränkung getroffen. Es ist jedoch nicht zu bestimmen, ob eine 👤 Person mit Sterbedatum 1601 ihren Beruf im 17. Jahrhundert noch ausgeübt hat. Es ist sicherlich auszuschließen, dass die meisten 👥 Personen mit einem Geburtsdatum von 1699 ihren Beruf im 17. Jahrhundert schon ausgeübt haben.

📜 Datengrundlage

Die GND beinhaltet (noch) keinen repräsentative Darstellung der Gesamtbevölkerung. Es gibt einen starken Bias in Richtung 👥 Personen, die schriftliche Erzeugnisse produzierten, oder künstlerisch tätig waren. Das wird im folgenden Beispiel deutlich.

Berufe und Tätigkeiten in Nürnberg im 17. Jahrhundert mit Häufigkeit

Anstatt wie zuvor alle Berufe und Tätigkeiten mit alternativen Bezeichnungen zu sammeln, schreiben wir hier eine Auswertung, die die Häufigkeit der einzelnen Berufe und Tätigkeiten bestimmt. Die alternativen Bezeichnungen, werden in einer separaten Spalte der Ausgabetabelle gesammelt.

PREFIX gnd: <https://d-nb.info/gnd/>
PREFIX gndo: <https://d-nb.info/standards/elementset/gnd#>
PREFIX xsd: <http://www.w3.org/2001/XMLSchema#>

SELECT ?job (COUNT(?job) AS ?count) (GROUP_CONCAT(DISTINCT ?jobAlternative; SEPARATOR=", ") AS ?alternatives)
WHERE {
 ?person ?p gnd:4042742-0 ;
 gndo:professionOrOccupation ?jobId .
 ?jobId gndo:preferredNameForTheSubjectHeading ?job ;
 gndo:variantNameForTheSubjectHeading ?jobAlternative .
 OPTIONAL { ?person gndo:dateOfBirth ?birthDay . }
 OPTIONAL { ?person gndo:dateOfDeath ?deathDay . }
 FILTER ( bound(?birthDay) || bound(?deathDay) ) .
 FILTER ( bound(?birthDay) && ?birthDay >= "1501-01-01"^^xsd:date && ?birthDay < "1701-01-01"^^xsd:date ) .
 FILTER ( bound(?deathDay) && ?deathDay >= "1601-01-01"^^xsd:date && ?deathDay < "1801-01-01"^^xsd:date ) .
}
GROUP BY ?job
ORDER BY DESC(?count)

job	count	alternatives
Kaufmann	270	Kaufleute, Fernkaufmann, Fernhandelskaufmann, Großkaufmann, Handelsmann
Jurist	270	Rechtswissenschaftler, Juristischer Beruf, Juristen
Patriziat	164	Patrizier, Stadtadel
Schriftsteller	156	Dichter, Literaturproduzent, Literat, Homme de lettres
Hochschullehrer	120	Professor (Hochschule), Lehrkörper / Hochschule, Lehrpersonal / Hochschule, Universitätsprofessor, Hochschulprofessor
Verleger	104	Verlagsbuchhändler, Verlagsleiter
Pfarrer	94	Pastor
Arzt	76	Mediziner, Ärzte
Künstler	72	Bildender Künstler, Künstlertum, Kunstschaffender
Unternehmer	57	Industrieller, Fabrikant, Entrepreneur
…	…	…

Zur Übersichtlichkeit haben wir die Tabelle auf 10 Einträge reduziert, sie kann als

CSV komplett heruntergeladen werden.

Silhouette der Kaiserburg in Nürnberg, mit nach Häufigkeit gewichteter Wortwolke, der in der GND gelisteten Berufe und Tätigkeiten im 17. Jahrhundert, mit einer Verbindung zu Nürnberg.

Wenn man einen Blick auf diese Auswertung wirft, wird schnell klar, dass dies weder eine repräsentative, noch eine vollständige Darstellung der Berufe und Tätigkeiten im 17. Jahrhundert in Nürnberg darstellt. Für unseren Streifzug durch die Daten der GND war die Fragestellung jedoch sehr hilfreich. Und auch im Archivalltag haben wir immer wieder Rechercheaufgaben, in denen konkret nach Personen mit einem bestimmten Beruf gesucht werden, die in einem bestimmten Zeitraum in einer Stadt gelebt haben.

Wir verwenden sparql_dataframe. ↩︎
Die 100 Jahre sind etwas großzügig, wir erhöhen damit die Trefferquote und verringern die Genauigkeit. ↩︎

GND in lokale Datenbank laden

Tue, 22 Jun 2021 00:00:00 +0000

Normdaten sind hilfreiche und notwendige Datenquellen zum Aufbereiten, Erschließen und Finden von Archivmaterial. In diesem Beitrag laden wir die Gemeinsame Normdatei (GND) zur Weiterverarbeitung in einen lokalen Triple Store von Apache Jena.

GND Logo von der
DNB unter CC BY-SA Lizenz.

Über die Gemeinsame Normdatei

Die GND ist ein von der Deutschen National Bibliothek (DNB) betreuter Dienst zur kooperativen Nutzung von Normdaten. Im Archivbereich interessieren wir uns insbesondere für eindeutig zu identifizierende Personen, Orte und Dinge.

Die GND liegt im Format MARC 21 und in RDF vor und kann über unterschiedliche Schnittstellen abgerufen werden. Wir konzentrieren uns hier auf die GND Daten im RDF Format, da wir diese effektiver durchsuchen können. Zum heutigen Stand gibt es von Seiten der DNB keinen SPARQL Endpoint für den Zugriff auf die Daten¹. Daher spielen wir einen Daten Dump in eine lokale Datenbank ein. Die Verwendung der Daten in einem Memory basierten Graphen z.B. mit RDFlib funktioniert auf Grund der Größe des Graphen nicht.

Datenbank: Apache Jena Fuseki

Apache Jena Logo von der
Apache^® Software Foundation.

Als lokale Datenbank für unser Experiment haben wir uns für Apache Jena entschieden. Das Projekt vereint einen Triple Store (TDB) zum Speichern und Verwalten der RDF Triple der GND, eine Implementierung von SPARQL namens ARQ, sowie einen SPARQL Endpoint mit Fuseki. Zusätzlich gib es auch noch Tools zum Arbeiten mit RDF und OWL, die wir erstmal nicht nutzen werden. Da wir gerne mit Docker arbeiten, es aber kein offizielles Docker Image des Apache Projektes gibt, verwenden wir das Docker Image stain/jena-fuseki aus dem Docker Hub².

Einlesen der Daten

Da das Einlesen der Daten mehrere Stunden dauern kann, empfehlen wir den Workflow zuerst mit einem kleineren Testdatensatz auszuführen.

Zum Einlesen haben wir uns die Datei authorities_lds.nt.gz aus dem DNB Data Dump heruntergeladen³.

Wir arbeiten mit der folgenden Ordnerstruktur:

--- title: Ordnerstruktur config: look: handDrawn theme: neutral --- flowchart TD subgraph data[far:fa-folder-open data] fuseki[far:fa-folder fuseki] fuseki_test[far:fa-folder fuseki_test] gnd_triples[far:fa-folder gnd_triples] test_triples[far:fa-folder test_triples] end root[far:fa-folder-open gnd_test] --> data root --> README[far:fa-file README.md]

README.md: Überblick über das Projekt und die Daten geben!
fuseki: Ordner zum Persistieren der Datenbank von Apache Jena.
fuseki_test: Ordner für den Test mit Apache Jena.
gnd_triples: Speicherort der .nt.gz Datei.
test_triples: Speicherort von Testdateien im .ttl Format.

Testdaten einlesen

Als erstes starten wir einen Docker Container mit dem Namen fuseki, machen die Web GUI verfügbar über http://localhost:8080, setzen das Administrator Passwort auf 123123 und mounten unsere Testordner in den Container⁴.

docker run -it --rm --name=fuseki -p 8080:3030 -e ADMIN_PASSWORD=123123 -v "$(PWD)\data\test_triples:/staging" -v "$(PWD)\data\fuseki_test:/fuseki" stain/jena-fuseki

Den Docker Container lassen wir laufen und öffnen ein zweites Terminal (Shell, PowerShell, …). Von diesem aus können wir uns mit dem Container verbinden und den Einlesevorgang starten. Hierfür gibt es zwei Varianten. In der ersten wird das bereitgestellte load.sh Skript verwendet, welches auf tdbloader verweist. Wir verzichten darauf dem load.sh Skript spezifische Dateien vorzugeben, sondern lesen alle kompatiblen Formate im fuseki_test Ordner in die test Datenbank ein.

docker exec -it fuseki /bin/bash -c './load.sh test'

Abschließend wird der geladene Datensatz in der Web GUI angelegt. In dem folgenden Bildschirmfoto in Abbildung 1 wird ein TDB Datensatz mit dem Namen test angelegt. Hier ist der gleiche Bezeichner zu wählen, wie er auch beim Laden verwendet wurde.

Hinzufügen des Test Datensatzes in der Web GUI.

Anschließend kann entweder in der Web GUI im Tab info oder mit dem folgenden SPARQL-Befehl die Anzahl der eingelesenen Trippel bestimmt werden.

SELECT COUNT(*)
WHERE {
 ?s ?p ?o .
}

Alternative mit TDB2

Alternativ kann auch der tdbloader2 verwendet werden. Hier werden explizit nur Dateien im *.ttl Format eingelesen.

docker exec -it fuseki /bin/bash -c './tdbloader2 --loc=/fuseki/databases/test /staging/*.ttl'

In der Web GUI darauf achten, den Datensatz als TDB2 anzulegen.

GND einlesen

Nach einem erfolgreichen Test lesen wir nun die komplette GND ein. Wir haben uns für TDB2 entschieden, da wir planen den Datensatz länger zu verwenden. Das Einlesen benötigt mit 6 Stunden und 15 Minuten etwa eine Viertelstunde länger als mit der Vorgängerversion TDB.

1. Starten des Containers mit Daten zum Einlesen

Der folgende Befehl startet einen Docker Container mit dem Verzeichnis der Daten zum Einlesen und einem Verzeichnis zum Speichern der Datenbank von Apache Jena.

docker run -it --rm --name=fuseki -p 8080:3030 -e ADMIN_PASSWORD=123123 -v "$(PWD)\data\gnd_triples:/staging" -v "$(PWD)\data\fuseki:/fuseki" stain/jena-fuseki

2. Einlesen der Daten im `TDB2` Format

In einem separaten Terminal starten wir den Einlesevorgang der GND Daten mit dem tdbloader2.

docker exec -it fuseki /bin/bash -c './tdbloader2 --loc=/fuseki/databases/gnd /staging/*.nt.gz'

3. Anlegen des Datensatzes in der Web GUI

Nach dem erfolgreichen Einlesen legen wir den Datensatz in der Weg GUI an. Hierbei achten wir darauf, den gleichen Bezeichner zu verwenden, wie beim Einlesen und als Format TDB2 zu wählen.

Hinzufügen des GND Datensatzes in der Web GUI.

4. Exemplarisches Testen der eingelesenen Daten

Anschließend testen wir exemplarisch, ob die Daten nutzbar sind. Hierfür verwenden wir eine SPARQL Abfrage mit einem Standardbeispiel aus der GND Ontology.

SELECT ?p ?o
WHERE {
 <https://d-nb.info/gnd/118514091> ?p ?o
}

Falls zu diesem Zeitpunkt noch keine Ergebnisse angezeigt werden, den Container beenden und wie in Schritt 5 starten.

5. Wiederverwendung des Containers

Um einen neuen Apache Jena Docker Container zu starten und die eingelesenen Daten wiederzuverwenden, kann der folgende Befehl verwendet werden.

docker run -it --rm --name=fuseki -p 8080:3030 -e ADMIN_PASSWORD=123123 -v "$(PWD)\data\fuseki:/fuseki" stain/jena-fuseki

Zusammenfassung und Ausblick

Zu Beginn war es etwas frustrierend, einen funktionierenden Workflow zum Einlesen der Daten in den Docker Container von Apache Jena aufzubauen. Kleine Abweichungen der obigen Beschreibung oder der Reihenfolge sorgen dafür, dass der komplette Einlesevorgang neu gestartet werden muss.

Die Einlesezeit wird sich auf anderen Systemen drastisch unterscheiden. Das liegt unter anderem daran, dass wir bei unseren Tests die Dateien von einem Windows Dateisystem in ein Linux-Dateisystem im Docker Container eingelesen und dann wieder auf das Windows Dateisystem herausgeschrieben haben.

Mit der Kombination aus Apache Jena, Docker und GND haben wir jetzt eine lokale Testdatenbank, mit der wir intensiv mit den Daten arbeiten können, ohne durch Bandbreiten- oder API-Beschränkungen ausgebremst zu werden.

Alternativ gibt es den Dienst lobid des hbz NRW. ↩︎
Zum Zeitpunkt unseres Tests gab es mehrere Probleme, die mit stain/jena-docker#50 gefixt werden sollten. ↩︎
Die Daten werden auch im für die Kompression optimierten HDT Format angeboten, jedoch hätten wir dafür Apache Jena für HDT anpassen müssen. ↩︎
Die Sicherheit des Passworts ist hier nicht relevant, da wir die Anwendung lokal auf unserem Rechner testen. ↩︎

Normdaten | FDMLab@LABW

Abschluss Projekt Provenienzforschung: Von Akten zur Onlinequellensammlung

Friedenssicherung im Dorf um 1600: Forschungsdatenmanagement im Staatsarchiv Wertheim

82. Südwestdeutscher Archivtag 2023

GND in lokale Datenbank laden (reloaded)

Datenbank: Oxigraph

Einlesen der Daten

Einlese-Variante 1

Einlese-Variante 2

3. Anzeigen der Daten

Zusammenfassung und Ausblick

Experiment zur Identifikation von doppelten Orten in der GND

Hintergrund

Idee

Vorgehen

1. ONDB Aufbereitung

2. GND in Triple-Store laden

3. Daten aus Triple-Store laden

4. Dubletten identifizieren

SPARQL Abfrage(n)

Angaben zur Quelle

Verknüpfung über Hierarchie

Verknüpfung über Ländercode

Verknüpfung über Ländercode mit Aufzählung aller (Sub-)Klassen

Anzahl pro (Sub-)Klasse

DE-Ländercode mit Nachfolger (oder Vorgänger) in BW

Finale SPARQL-Abfrage

Ergebnisse

Experimente mit Visualisierungen für Sachbegriffe in der GND

Die Ludwigsburger Porzellantasse

Gemeinsamer Oberbegriff für Bilder?

Fazit

Verborgene Datenschätze heben: Das FDMLab experimentiert mit KI im Archiv

Workshop - Reconciling mit OpenRefine und der GND

Hintergrund

Kurzer Exkurs zur GND als LOD

Vorbereitung

Datensatz laden

Reconciliation Service hinzufügen

Aufgabe 1: Daten nachladen

Aufgabe 2: Daten verknüpfen

Fazit

Erste Experimente mit der GND

Lade Beispielperson

Berufe und Tätigkeiten von David Bowie

Berufe und Tätigkeiten in Nürnberg (fixiert)

Berufe und Tätigkeiten in Nürnberg (frei)

Berufe und Tätigkeiten in Nürnberg im 17. Jahrhundert

Methodische Probleme

💼 Beruf und 🏠 Ort

📅 Zeit und 🏠 Ort

📜 Datengrundlage

Berufe und Tätigkeiten in Nürnberg im 17. Jahrhundert mit Häufigkeit

GND in lokale Datenbank laden

Über die Gemeinsame Normdatei

Datenbank: Apache Jena Fuseki

Einlesen der Daten

Testdaten einlesen

Alternative mit TDB2

GND einlesen

1. Starten des Containers mit Daten zum Einlesen

2. Einlesen der Daten im TDB2 Format

3. Anlegen des Datensatzes in der Web GUI

4. Exemplarisches Testen der eingelesenen Daten

5. Wiederverwendung des Containers

Zusammenfassung und Ausblick

2. Einlesen der Daten im `TDB2` Format