[Kitodo] [Kitodo.Production 2] Probleme mit Metadatengruppen

[Möller, Armin]

Lieber Herr Hartwig,

wir haben exakt die gleichen Probleme. Ich habe ein Script das alle 15 Min die Vorgänge (meta.xml und meta_anchor.xml ) korrigiert. Das hat das Problem für uns behoben (deutlich verbessert ). Wir hatten den Effekt, das durch den Java-Dump das root-filesystem zu 100% gefüllt wurde und der Server dann Garnichts mehr gemacht hat und nur ein Neustart geholfen hat. Hat etwas gedauert bis wir die Ursache gefunden haben.

Mfg


Armin Möller

--
******************************************************************
Armin Möller,                     Administrator
Abt. IDM Ref. 2                 Tel +49 30 266 432231
Staatsbibliothek zu Berlin PK
Potsdamer Str. 33
10772 Berlin                         armin.moeller at sbb.spk-berlin.de<mailto:armin.moeller at sbb.spk-berlin.de>

Von: kitodo-community-bounces at kitodo.org <kitodo-community-bounces at kitodo.org> Im Auftrag von Uwe Hartwig
Gesendet: Montag, 27. Januar 2020 11:04
An: Kitodo-Community <kitodo-community at kitodo.org>
Betreff: [Kitodo] [Kitodo.Production 2] Probleme mit Metadatengruppen


Liebe Community,

Wir haben Probleme mit der Verarbeitung und Darstellung von Metadatengruppen.

Wir hatte bereits Probleme mit der Verarbeitung, wenn beim Feld "Herausgeber" ("Editor") eine Relation mit mehr als 2 Werten besetzt war, also wenn der „Editor“ beispielsweise sowohl in den Rollen "Vertrieb", "DruckerIn" und "Verlag" vorkam.

Der Effekt in diesem Fall ist, dass bei jedem Schreibvorgang das letzte dieser Felder vervielfältigt wurde, also in dem Beispiel die 3.Relation. Das Wachstum war in diesem Fall nicht einfach linear, auch nicht exponentiell, sondern fakultativ. Sobald eine kritische Grenze erreicht war (>100 identische Einträge, dafür reichen bereits 3 Schreibvorgänge), ließ sich der Vorgang nicht mehr öffnen und das komplette Kitodo.Production-System musste für alle Nutzer neu gestartet werden.

Das konnten wir mildern, in dem wir die Symptome behandelt haben. Beim Einlesen und Schreiben haben wir Anpassungen im Sourcecode vorgenommen, um die duplizierten Einträge herauszufiltern. Die Quelle des Problems haben wir jedoch nicht gefunden. Es scheint mit der Art und Weise zusammenzuhängen, wie die kitodo-ugh-Library die Metadaten eines Vorgangs einliest. Dazu gab es bereits ein GitHub-Issue im kitodo-ugh Projekt, wobei nicht klar ist, inwiefern das mit unserem aktuellen Problem zusammenhängt.

Jetzt haben wir ein weiteres, darauf aufbauendes Problem. Wieder mit Metadatengruppen. Diesmal handelt es sich um den Typ "Schlagwort" (subject). Hier werden wiederum die letzten Elemente der Gruppe vervielfältigt. Die Ursache ist unklar. Das Filtern aus dem vorherigen Fall greift nicht. Allem Anschein nach versucht Kitodo, nicht einfach nur die XML-Daten einzulesen, sondern die zusätzlichen Schlagworte beim Öffnen im Metadateneditor erneut zu resolven, um dann die zusätzlichen Elemente in die logische Struktur zu schreiben.

Hat jemand in der Community ein ähnliches Phänomen beobachtet?



--

Uwe Hartwig

Anwendungsentwickler IT / Digitale Dienste



Universitäts- und Landesbibliothek Sachsen-Anhalt

August-Bebel-Straße 13

D - 06108 Halle (Saale)



Fon: + 49 345 55 22 183

Mail: uwe.hartwig at bibliothek.uni-halle.de<mailto:uwe.hartwig at bibliothek.uni-halle.de>
-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <http://bibservices.biblio.etc.tu-bs.de/pipermail/kitodo/attachments/20200127/c0ace0e9/attachment-0001.htm>
-------------- nächster Teil --------------
_______________________________________________
Kitodo-Community mailing list
Kitodo-Community at kitodo.org
https://maillist.slub-dresden.de/cgi-bin/mailman/listinfo/kitodo-community