[Allegro] Weitere Verbesserungen an Solr stehen bevor

Bernhard Eversberg ev at biblio.tu-bs.de
Mi Jun 2 15:08:48 CEST 2010


Das beschriebene Solr-Verfahren bedarf weiterer Verbesserungen.
Es stellte sich raus, daß bei einer Dateigröße oberhalb 32MB
(XML-Datei) Ende der Fahnenstange ist. Das läßt sich umgehen,
indem man mehrere Dateien macht, jede unter 32MB, und sie
hintereinander einmischen läßt. Das geht mit einem einzelnen Befehl,
ist also nicht aufwendiger in der Durchführung. Aber das
automatische Herstellen von mehreren Dateien, das müssen wir
erst noch exporttechnisch realisieren. Lösung ist jetzt fast
fertig, nächste Woche kommt sie. Wir geben das erst frei,
wenn die VK-Datenbank, das sind einige GB, anstandslos
durchläuft.
Es fiel auch auf, daß das Trunkieren wegen einer Solr-Technik
namens "stemming" (Wortstämme automatisch bestimmen) wenig
zuverlässig ist, aber man kann das abschalten. (Denn es ist
natürlich auf Englisch getrimmt.)

MfG B.E.




Mehr Informationen über die Mailingliste Allegro