[Allegro] Import

[Klaus Lehmann]

Guten Tag Herr Fischer,
danke für Ihre Nachricht.
Am Donnerstag, 10. November 2016 um 08:26 schrieben Sie.
Ihre Nachricht finden Sie am Ende dieser eMail.

> Liebe KollegInnen, lieber Herr Eversberg,

> ich  muss ein Datenbank neu aufbauen und habe ca. 120.000
> Datensätze im Allegro Externformat, ohne Identnummer #00 (die ließe
> sich notfalls per Skript erzeugen), die ich der Datenbank hinzufügen muss.
> Wie bekomme ich diese Daten am effektivsten/schnellsten in die Datenbank?

pauschal gesagt: mit index.exe!

was mit index.exe nicht geht, sind die schalter, die wir von update
(-fm) kennen.
UND: die idents sollten vorher erzeugt werden, das macht index.exe
NICHT!


> Ich kann A99 benutzen, um das alles zu verarbeiten: extern.dat
> erzeugen, in den Offline-Speicher laden und dann den
> Offline-Speicher mit "Offline-Datei -> Datenbank" in die Datenbank schaufeln.
> Das scheint soweit gut zu funktionieren, ich komme dabei aber auf
> etwa 300 Datensätze pro Minute, geht das schneller?

bei 120.000 dingern warten sie evtl 2-4 tage ;-(
NOTlösung: datenbank mit SEHR kleiner api durchindexieren, dann
offline reinschaufeln (ist aber nur NOTlösung, würde ich NIE nehmen!)

nochmal zu oben. mit index.exe gehts!.
-natürlich hier auch eine kleine api nehmen ;-)


als alternative, !wenn! ich die fähigkeiten von update.exe/job benötige,
würde ich IMMER folgendes tun:
-eine kleine api nehmen! (vorher aber die basisdatenbank durchindexieren ;-)  )
--in der api nur der primäreschlüssel.
-auf jegliches protokollieren verzichten (wie konnte man nochmal das
protokoll abschalten?)
-keine wartezeiten mit -F0/0 (korrekt?)


bei beiden verfahren die cfg-werte, was "m" angeht, hochschrauben!



grüße
k.l.


> Bei import/index werden wohl keine Identnummern erzeugt (erst beim
> nachmaligen speichern in A99), da müssten zuerst die Nummern erzeugt werden.
> Da kommt mir bei import auch noch die in "5.2 Aufruf des Programms
> aus Batchdateien" nicht erwähnte Konfiguration in die Quere: ich
> habe keine hierarchischen Untersätze, aber eine Kategorie #05ff, die
> als normales Feld behandelt werden muss.

> Die Situation ist:
> Datenverzeichnis jfm in U:\Allegro, Konfiguration gjfm.cfg,
> Standardimport und Exportparameter kat. at im, i-1. at pr
> Wäre dann das beste Vorgehen, wenn ich V14-Ersetzungen erst einmal außen vor lasse:

> 1. Identnummern für jeden Satz erzeugen
2. U:\Allegro\jfm>>..\import -f5 -d "JFM-GesamtMitRefsZeilen c-0.txt" -i kat -e i-1/jfmNew.txt -v0 -s0 -m0 -kgjfm
3. U:\Allegro>>index -f71 -d jfm\jfmNew.txt -e jfm/jfm -n1 -k gjfm
4. U:\Allegro>>qrix -fq1 -d jfm -ejfm/jfm -kgjfm

> Oder geht das eleganter?

> Mit freundlichen Grüßen
> Thomas Fischer




-- 
Mit freundlichen Grüßen,
Ihr Klaus Lehmann
http://allegronet.de * eMail: allegronet at t-online.de * phone: 03528-452 807(fax 809) * mobil: 0171-953 7843
allegronet.de * Klaus Lehmann * D-01454 Radeberg * Bahnhofstr. 1
zuständiges Finanzamt: FA Hoyerswerda; zuständige Kammer: IHK Dresden;
zuständige Aufsichtsbehörde: Gewerbeamt Radeberg; USt-IdNr: DE247550760
Für den schnellen Geldverkehr: http://PayPal.Me/LehmannKlaus
* Software für zufriedene Bibliothekare: 1000x bewaehrt und ergiebig
* Bereits 4x allegro-utf8. Buchen Sie die allegro-Roadshow. Yes we can!
* Internetkataloge & WebHosting für Allegro-C & Web 2.0 mit VuFind
* 2011: Sponsor der Peter-Sodann-Bibliothek (Staucha)
* 2013-2016: Bolero 64bit+allegro-zdb+eBooks-allegro-imd
Seit 2015 Spezialist in real Big Data! Beispiele: allegro-zdb&allegro-imd
Lesen Sie auf http://portal.allegronet.de/allegrowerkstatt/allegro-windows die
Wahrheit zur Zukunft von allegro-C. Bilden Sie sich Ihre eigene Meinung! Lesen Sie!





Am Donnerstag, 10. November 2016 um 08:26 schrieben Sie:
> Liebe KollegInnen, lieber Herr Eversberg,

> ich  muss ein Datenbank neu aufbauen und habe ca. 120.000
> Datensätze im Allegro Externformat, ohne Identnummer #00 (die ließe
> sich notfalls per Skript erzeugen), die ich der Datenbank hinzufügen muss.
> Wie bekomme ich diese Daten am effektivsten/schnellsten in die Datenbank?

> Ich kann A99 benutzen, um das alles zu verarbeiten: extern.dat
> erzeugen, in den Offline-Speicher laden und dann den
> Offline-Speicher mit "Offline-Datei -> Datenbank" in die Datenbank schaufeln.
> Das scheint soweit gut zu funktionieren, ich komme dabei aber auf
> etwa 300 Datensätze pro Minute, geht das schneller?

> Bei import/index werden wohl keine Identnummern erzeugt (erst beim
> nachmaligen speichern in A99), da müssten zuerst die Nummern erzeugt werden.
> Da kommt mir bei import auch noch die in "5.2 Aufruf des Programms
> aus Batchdateien" nicht erwähnte Konfiguration in die Quere: ich
> habe keine hierarchischen Untersätze, aber eine Kategorie #05ff, die
> als normales Feld behandelt werden muss.

> Die Situation ist:
> Datenverzeichnis jfm in U:\Allegro, Konfiguration gjfm.cfg,
> Standardimport und Exportparameter kat. at im, i-1. at pr
> Wäre dann das beste Vorgehen, wenn ich V14-Ersetzungen erst einmal außen vor lasse:

> 1. Identnummern für jeden Satz erzeugen
2. U:\Allegro\jfm>>..\import -f5 -d "JFM-GesamtMitRefsZeilen c-0.txt" -i kat -e i-1/jfmNew.txt -v0 -s0 -m0 -kgjfm
3. U:\Allegro>>index -f71 -d jfm\jfmNew.txt -e jfm/jfm -n1 -k gjfm
4. U:\Allegro>>qrix -fq1 -d jfm -ejfm/jfm -kgjfm

> Oder geht das eleganter?

> Mit freundlichen Grüßen
> Thomas Fischer