Aufbau großer Datenbanken

[Thomas Berger]

Liebe Frau Koczian,
 
> MAB2-Ausspeicherungen. Die Datenbanken werden also in einem Schritt
> erstellt: Import der MAB2-Daten in eine .alg-Datei mit den Titeldaten und
> eine Datei mit den Lokaldaten, Aufbau der Datenbank mit Index aus der
> Titeldaten-alg-Datei und Zuspielen der Lokaldaten mit Update (die
> Lokaldaten werden Teil der zugehörigen Titelsätze).

das koennte ein Problem werden.


> Dieser ganze Vorgang bricht zusammen, wenn die Zahl der Titel ca. 1,5
> Millionen ueberschreitet; aber leider konnte ich noch nicht in Erfahrung
> bringen, an welcher Stelle. Der Aufbau passiert in einem Batch-Lauf,
...
 
> Fragen, die ich im Augenblick habe:
> 
> Ob ii > 1 noetig waere, muesste ich wohl aus der Groesse der .alg-Datei
> ableiten koennen. Oder kennt sich jemand besser aus als ich und kann das
> abschaetzen? Eigentlich haette ich gedacht, dass es Allegro-Datenbanken

wenn 255 * 16.000.000 - 30.000.000 < Groesse der .alg-Datei
dann wird es Aerger geben. Wenn die Kollegen mit Datei 250 anfangen,
hineinzuindexieren, dann natuerlich frueher...

> dieser Groessenordnung schon vor der Einfuehrung von ii gab? Oder kann es
> sein, dass schon der Versuch, solche Titelmengen in _eine_ .alg-Datei zu
> packen und diese Datei Index zum Frasse vorzuwerfen, einen Kunstfehler
> darstellt?

Nein, halbwegs neue Programmversionen vorausgesetzt, geben auch
viele hundert MB grosse .alg-Dateien keine Probleme, index.exe
zerlegt sie selbsttaetig.
 
> Was passiert denn, wenn man versucht, eine zu grosse Datenbank aufzubauen?

Das uebliche: Mysterioese Crashs :-)

 
> Die Groesse der bei Index entstehenden Zwischendateien richtet sich nach
> dem verfuegbaren Arbeitsspeicher und ist nicht einstellbar, habe ich das
> richtig verstanden?

Ja. Sind diese aber sehr klein, waere das schlimm. Ca. 70-80kB sollten
sie normalerweise haben.

 
> Und was ist eigentlich, wenn evtl. schon Import zusammenbricht? Wuerden
> dann unvollstaendige oder vielleicht gar keine  .alg-Dateien
> zurueckbleiben? Kann es ueberhaupt passieren, dass Import zusammenbricht,
> weil die zu konvertierende Datei zu gross ist?

Das nicht, aber es koennte zu grosse Datensaetze geben oder zu 
grosse Kategorien (IMPORT hat hier m.W. andere Speicherlimits).


> Das sind sehr wahrscheinlich nur die Eingangsfragen. Ich habe die Redaktion
> erst einmal gebeten, die entstandenen Zwischendateien und deren Groesse zu
> ermitteln - was waere noch wissenswert?

Das wichtigste: Ist es die Indexierung der Titel, oder kommen die
Probleme erst beim Einmischen der Lokaldaten?

viele Gruesse
Thomas Berger