[Kitodo] [Kitodo-Verein] Entwicklungsauftrag

[David Maus]

On Wed, 05 Jul 2017 22:16:36 +0200,
Stefan Weil wrote:
> 
> Am 05.07.2017 um 09:53 schrieb Dorothea Reinhold:
> > Liebe Kolleg*innen,
> >
> > wir - und bestimmt nicht nur wir - haben ein paar Probleme mit der
> > Volltextsuche in unseren digitalen Sammlungen . Bei wenigen Treffern
> > funktioniert diese ganz gut (z.B. Suche nach "Handball", 13 Treffer).
> > Je mehr Fundstellen es gibt, desto länger dauert die Anzeige der
> > Ergebnisse (z.B. bei der Suche nach "Verein" mehr als 40 Sekunden, >
> > 10000 Treffer). Herr Mödinger, der bei uns Kitodo betreut, vermutet
> > als Ursache, dass im Typo3-Modul alle Suchergebnisse inklusive
> > Text-Snippets vom Solr-Server abgerufen werden.
> >
> > Eine entsprechende Anfrage bei Zeutschel ergab, dass das Problem
> > bekannt und die Behebung für die Community von Interesse ist. Die
> > Lösung könnte aus zwei Arbeitsblöcken bestehen: 1. Analyse, 2.
> > Entwicklung.
> > Bevor wir also den ersten Schritt, die Analyse auf unsere Kosten
> > vergeben, möchten wir uns absichern, dass daraus folgende
> > Entwicklungen auch ins offizielle Releasemanagenment einfließen. Für
> > den 2. Schritt , die eigentliche Anpassungsprogrammierung, könnten wir
> > uns auch ein von mehreren Kitodo-Partnern gemeinsam finanziertes
> > Projekt vorstellen, denn der geschätzte Aufwand kann bis zu 20 Tage
> > betragen.
> >
> > Wir freuen uns über Ihre Rückmeldungen
> >
> > D.Reinhold
> 
> Offenbar lässt sich die Tiefe der Suche und damit auch die benötigte Zeit
> limitieren:
>

Der Fehler liegt meiner Einschätzung nach hier:

https://github.com/kitodo/kitodo-presentation/blob/master/dlf/common/class.tx_dlf_solr.php#L347

Die Vermutung von Herrn Mödinger ist demnach korrekt. Kitodo ruft
immer die gesamte Treffermenge ab und wählt dann die anzuzeigenden
Ausschnitt aus. Das ist nicht sinnvoll. Die Auswahl der anzuzeigenden
Teilmenge sollte besser durch Solr erfolgen.

Im o.g. Funktionsaufruf ist es das zweite (offset = start) und dritte
Argument (limit = rows).

Die Berechnung:

start = (Ausgewählte Seite - 1) * Treffer pro Seite
rows  = Treffer pro Seite

HTH,
  -- David Maus

> 
> http://digital.slub-dresden.de/listenansicht/ liefert maximal 5000 Treffer
> (getestet mit den Suchbegriffen "Verein" und "Berlin") und braucht dafür
> rund 30 Sekunden. Eine Suche mit wenigen Treffern ist deutlich schneller
> ("abcdef", 32 Treffer, 12 Sekunden).
> 
> Ich finde übrigens schon 10 Sekunden für wenige Treffer ziemlich viel.
> 
> Eine Beschränkung auf eine willkürlich gesetzte Obergrenze ist vielleicht
> akzeptabel, da niemand 5000 Ergebnisse anschaut, sondern die Suche
> eher weiter einschränken wird. Allerdings sollte Presentation den
> Sachverhalt dann auch richtig beschreiben, also statt "Die Suche ergab
> 5000 Treffer in 635 Dokumenten." besser "Die Suche ergab mehr als
> 5000 Treffer in mindestens 635 Dokumenten.".
> 
> Die Analyse sollte recht einfach sein, denn der Solr-Index kann auch
> außerhalb von Kitodo direkt abgefragt werden. So kann man verschiedene
> Abfragevarianten ausprobieren und die benötigte Zeit messen.
> 
> Freundliche Grüße
> Stefan Weil
> 
> _______________________________________________
> Kitodo-Verein mailing list
> Kitodo-Verein at kitodo.org
> https://maillist.slub-dresden.de/cgi-bin/mailman/listinfo/kitodo-verein

-- 
David Maus, Bibliothekarische IT / Digital Humanities
Herzog August Bibliothek, D-38299 Wolfenbüttel, Phone +49 5331 808-317
PGP Key 0x27023DFCE78FF66C
http://dmaus.name ~ http://github.com/dmj


_______________________________________________
Kitodo-Verein mailing list
Kitodo-Verein at kitodo.org
https://maillist.slub-dresden.de/cgi-bin/mailman/listinfo/kitodo-verein