Aufbau großer Datenbanken

[Sibylle Koczian]

Liebe Liste,

es dreht sich um ein Problem, das ich nicht selbst beobachtet habe, so dass 
mir Daten fehlen. Ich beschreibe es in der Hoffnung, dass mir Kenner beim 
Stellen der richtigen Fragen helfen koennen.

Unsere bayerische Verbundredaktion produziert seit einiger Zeit 
Allegro-Datenbanken aus dem Verbundkatalog. Grundlage sind 
MAB2-Ausspeicherungen. Die Datenbanken werden also in einem Schritt 
erstellt: Import der MAB2-Daten in eine .alg-Datei mit den Titeldaten und 
eine Datei mit den Lokaldaten, Aufbau der Datenbank mit Index aus der 
Titeldaten-alg-Datei und Zuspielen der Lokaldaten mit Update (die 
Lokaldaten werden Teil der zugehörigen Titelsätze).

Dieser ganze Vorgang bricht zusammen, wenn die Zahl der Titel ca. 1,5 
Millionen ueberschreitet; aber leider konnte ich noch nicht in Erfahrung 
bringen, an welcher Stelle. Der Aufbau passiert in einem Batch-Lauf, 
wahrscheinlich unbeaufsichtigt (jedenfalls ist es so gedacht, dass nach der 
Beantwortung einiger Eingangsfragen kein Eingriff mehr noetig sein soll).

Fragen, die ich im Augenblick habe:

Ob ii > 1 noetig waere, muesste ich wohl aus der Groesse der .alg-Datei 
ableiten koennen. Oder kennt sich jemand besser aus als ich und kann das 
abschaetzen? Eigentlich haette ich gedacht, dass es Allegro-Datenbanken 
dieser Groessenordnung schon vor der Einfuehrung von ii gab? Oder kann es 
sein, dass schon der Versuch, solche Titelmengen in _eine_ .alg-Datei zu 
packen und diese Datei Index zum Frasse vorzuwerfen, einen Kunstfehler 
darstellt?

Was passiert denn, wenn man versucht, eine zu grosse Datenbank aufzubauen?

Die Groesse der bei Index entstehenden Zwischendateien richtet sich nach 
dem verfuegbaren Arbeitsspeicher und ist nicht einstellbar, habe ich das 
richtig verstanden?

Und was ist eigentlich, wenn evtl. schon Import zusammenbricht? Wuerden 
dann unvollstaendige oder vielleicht gar keine  .alg-Dateien 
zurueckbleiben? Kann es ueberhaupt passieren, dass Import zusammenbricht, 
weil die zu konvertierende Datei zu gross ist?

Das sind sehr wahrscheinlich nur die Eingangsfragen. Ich habe die Redaktion 
erst einmal gebeten, die entstandenen Zwischendateien und deren Groesse zu 
ermitteln - was waere noch wissenswert?

Danke und beste Gruesse, Koczian



Dr. Sibylle Koczian
Universitaetsbibliothek , Abt. Naturwiss.
D-86135 Augsburg

Tel.: (0821) 598-2400, Fax : (0821) 598-2410
e-mail : Sibylle.Koczian at Bibliothek.Uni-Augsburg.DE