Re: Aufbau großer Datenbanken

[Sibylle Koczian]

Lieber Herr Berger, liebe Liste,

zuerst einmal neue Informationen zu dem Aufbauproblem, die ich eben 
bekommen habe:

- Die Datei UPRO ist leer. Bedeutet das, dass Update sofort 
zusammengebrochen ist, oder wird UPRO erst am Ende erzeugt? Es ist 
allerdings andererseits so, dass sich die Zeitstempel derjenigen 
.ald-Dateien, die entstanden sind, ueber ca. 20 Stunden hinziehen. Das 
wuerde zu Ihrer Zeitschaetzung unten gut passen und sieht jedenfalls aus, 
als muesste Update eine Zeitlang gelaufen sein.

- Der Zusammenbruch erfolgte mit blauem Bildschirm und damit ohne eine 
brauchbare Fehlermeldung.

- Mir faellt auf, dass ein Teil der Dateien das Archiv-Attribut hat, und 
daraus schliesse ich, dass waehrend des Aufbaus ein Sicherungsprogramm 
gelaufen sein duerfte. Das kann nicht den sofortigen Zusammenbruch bewirkt 
haben (Zeitstempel) und Update sollte sich wohl nicht davon stoeren lassen 
(?), aber gut scheint es mir nicht.


At 17:24 14.01.03 +0100, you wrote:
>Schwer vorstellbar: Gibt es doch nur einen Lokalsatz pro Titel
>oder werden die Lokal-Informationen beim Import irgendwie "entzerrt",
>denn sonst muessten sie sich doch ueberschreiben?
>

Entzerren: was im fertigen Satz Wiederholungskategorie werden soll, wird 
als #xx~ importiert. Bei den kleineren Mengen, bei denen ich es bisher 
naeher angesehen habe, klappt das auch einwandfrei. Die Lokalsaetze 
enthalten im uebrigen nicht viel (Signatur, Exemplarzahl, ggf. 
Bestandsangaben und Fussnoten, das war's schon so ziemlich), 
und  Zeitschriftenbaende werden abweichend vom Rest als eigene Saetze 
behandelt.

>
> > Gibt es einen besseren Weg als Index + Update? Dass ein von mir
> > geschriebenes Perl-Skript, das die Lokaldaten vor dem Import in die
> > Titeldaten einmischt, etwas anderes tun koennte als die ganze Aktion viel
> > schlimmer zu bremsen als Update es tut, nebst wahrscheinlich zusaetzlichen
> > Fehlern und Unsicherheiten, scheint mir mehr als unwahrscheinlich.
>
>Nein, ich halte es auch nicht fuer wahrscheinlich, dass ein Perlskript
>langsamer und schaedlicher sein sollte als allegro :-).

Ich bin nicht voellig sicher, ob wir uns gerade richtig verstehen: mir 
scheint, ein Perlskript, das mit zwei Textdateien ungefaehr das tun soll, 
was Update mit einer fertigen Datenbank und einer Textdatei tut, kann die 
Situation nur verschlechtern.

>Trotz Spezialindexierung ist es bei einem Update unwahrscheinlich,
>dass Sie mehr als 50.000 Saetze pro Stunde einmischen koennen.

Zeit allein waere wohl nicht das Problem (so grosse Datenbanken kommen im 
gegebenen Kontext selten vor), wenn die Sache nur am Ende stimmt.


> > (Allenfalls wenn ich ganz sicher sein koennte, dass die Lokalsaetze nach
> > der ID-Nr. des zugehoerigen Titelsatzes geordnet kommen - dann vielleicht.)
>
>Ein Sortierprogramm ist Ihr Freund :-)

Haben Sie einen Tipp, wo ich danach am besten suchen kann (es geht ja nicht 
mit asort o.ae., weil nicht zeilenweise sortiert werden kann)?

Im uebrigen bin ich soeben dabei, die Rohdaten zu holen und werde selbst 
experimentieren, vor allem mit eingebauter Protokollierung.

Vielen Dank und herzliche Gruesse,
Koczian


Dr. Sibylle Koczian
Universitaetsbibliothek , Abt. Naturwiss.
D-86135 Augsburg

Tel.: (0821) 598-2400, Fax : (0821) 598-2410
e-mail : Sibylle.Koczian at Bibliothek.Uni-Augsburg.DE