<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Consolas;
panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
margin-bottom:.0001pt;
line-height:normal;
font-size:12.0pt;
font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
p
{mso-style-priority:99;
mso-margin-top-alt:auto;
margin-right:0cm;
margin-bottom:7.1pt;
margin-left:0cm;
line-height:115%;
font-size:12.0pt;
font-family:"Times New Roman",serif;}
pre
{mso-style-priority:99;
mso-style-link:"HTML Vorformatiert Zchn";
margin:0cm;
margin-bottom:.0001pt;
line-height:normal;
font-size:10.0pt;
font-family:"Courier New";}
p.msonormal0, li.msonormal0, div.msonormal0
{mso-style-name:msonormal;
mso-margin-top-alt:auto;
margin-right:0cm;
margin-bottom:7.1pt;
margin-left:0cm;
line-height:115%;
font-size:12.0pt;
font-family:"Times New Roman",serif;}
span.HTMLVorformatiertZchn
{mso-style-name:"HTML Vorformatiert Zchn";
mso-style-priority:99;
mso-style-link:"HTML Vorformatiert";
font-family:"Consolas",serif;}
span.E-MailFormatvorlage21
{mso-style-type:personal-reply;
font-family:"Calibri",sans-serif;
color:#1F497D;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:70.85pt 70.85pt 2.0cm 70.85pt;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="DE" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D;mso-fareast-language:EN-US">Lieber Herr Hartwig,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D;mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D;mso-fareast-language:EN-US">wir haben exakt die gleichen Probleme. Ich habe ein Script das alle 15 Min die Vorgänge (meta.xml und meta_anchor.xml ) korrigiert.
Das hat das Problem für uns behoben (deutlich verbessert ). Wir hatten den Effekt, das durch den Java-Dump das root-filesystem zu 100% gefüllt wurde und der Server dann Garnichts mehr gemacht hat und nur ein Neustart geholfen hat. Hat etwas gedauert bis wir
die Ursache gefunden haben. <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D;mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D;mso-fareast-language:EN-US">Mfg<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D;mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D;mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D;mso-fareast-language:EN-US">Armin Möller<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D;mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Calibri",sans-serif;color:#1F497D">--<br>
******************************************************************<br>
Armin Möller, Administrator<br>
Abt. IDM Ref. 2 Tel +49 30 266 432231<br>
Staatsbibliothek zu Berlin PK <br>
Potsdamer Str. 33<br>
10772 Berlin <a href="mailto:armin.moeller@sbb.spk-berlin.de">armin.moeller@sbb.spk-berlin.de</a></span><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p></o:p></span></p>
</div>
<p class="MsoNormal"><span style="mso-fareast-language:EN-US"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">Von:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> kitodo-community-bounces@kitodo.org <kitodo-community-bounces@kitodo.org>
<b>Im Auftrag von </b>Uwe Hartwig<br>
<b>Gesendet:</b> Montag, 27. Januar 2020 11:04<br>
<b>An:</b> Kitodo-Community <kitodo-community@kitodo.org><br>
<b>Betreff:</b> [Kitodo] [Kitodo.Production 2] Probleme mit Metadatengruppen<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p>Liebe Community,<o:p></o:p></p>
<p style="margin-bottom:0cm;margin-bottom:.0001pt">Wir haben Probleme mit der Verarbeitung und Darstellung von Metadatengruppen.
<o:p></o:p></p>
<p style="margin-bottom:0cm;margin-bottom:.0001pt">Wir hatte bereits Probleme mit der Verarbeitung, wenn beim Feld "Herausgeber" ("Editor") eine Relation mit mehr als 2 Werten besetzt war, also wenn der „Editor“ beispielsweise sowohl in den Rollen "Vertrieb",
"DruckerIn" und "Verlag" vorkam.<o:p></o:p></p>
<p style="margin-bottom:0cm;margin-bottom:.0001pt">Der Effekt in diesem Fall ist, dass bei jedem Schreibvorgang das letzte dieser Felder vervielfältigt wurde, also in dem Beispiel die 3.Relation. Das Wachstum war in diesem Fall nicht einfach linear, auch nicht
exponentiell, sondern fakultativ. Sobald eine kritische Grenze erreicht war (>100 identische Einträge, dafür reichen bereits 3 Schreibvorgänge), ließ sich der Vorgang nicht mehr öffnen und das komplette Kitodo.Production-System musste für alle Nutzer neu gestartet
werden.<o:p></o:p></p>
<p style="margin-bottom:0cm;margin-bottom:.0001pt">Das konnten wir mildern, in dem wir die Symptome behandelt haben. Beim Einlesen und Schreiben haben wir Anpassungen im Sourcecode vorgenommen, um die duplizierten Einträge herauszufiltern. Die Quelle des Problems
haben wir jedoch nicht gefunden. Es scheint mit der Art und Weise zusammenzuhängen, wie die kitodo-ugh-Library die Metadaten eines Vorgangs einliest. Dazu gab es bereits ein GitHub-Issue im kitodo-ugh Projekt, wobei nicht klar ist, inwiefern das mit unserem
aktuellen Problem zusammenhängt.<o:p></o:p></p>
<p style="margin-bottom:0cm;margin-bottom:.0001pt">Jetzt haben wir ein weiteres, darauf aufbauendes Problem. Wieder mit Metadatengruppen. Diesmal handelt es sich um den Typ "Schlagwort" (subject). Hier werden wiederum die letzten Elemente der Gruppe vervielfältigt.
Die Ursache ist unklar. Das Filtern aus dem vorherigen Fall greift nicht. Allem Anschein nach versucht Kitodo, nicht einfach nur die XML-Daten einzulesen, sondern die zusätzlichen Schlagworte beim Öffnen im Metadateneditor erneut zu resolven, um dann die zusätzlichen
Elemente in die logische Struktur zu schreiben.<o:p></o:p></p>
<p style="margin-bottom:0cm;margin-bottom:.0001pt">Hat jemand in der Community ein ähnliches Phänomen beobachtet?<o:p></o:p></p>
<p><o:p> </o:p></p>
<pre>-- <o:p></o:p></pre>
<pre>Uwe Hartwig<o:p></o:p></pre>
<pre>Anwendungsentwickler IT / Digitale Dienste <o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>Universitäts- und Landesbibliothek Sachsen-Anhalt<o:p></o:p></pre>
<pre>August-Bebel-Straße 13<o:p></o:p></pre>
<pre>D - 06108 Halle (Saale)<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>Fon: + 49 345 55 22 183<o:p></o:p></pre>
<pre>Mail: <a href="mailto:uwe.hartwig@bibliothek.uni-halle.de">uwe.hartwig@bibliothek.uni-halle.de</a><o:p></o:p></pre>
</div>
</body>
</html>