[Allegro] grenzen von qrix? eventuell abhängig von 64bit oder 32bit?

Klaus Lehmann lehmann_klaus at t-online.de
Do Jun 26 01:03:23 CEST 2014


Guten Tag liebe kollegen


ich arbeite derzeit an einen großen projekt. später mehr. wenn es 
endlich läuft....


!ein! problem. habe hier so 10 mill. datensätze.
sie zu indexieren, ist ein problem!
ca 8GB an ii?-dateien sind mit dem letzten vorgang zu mischen.


so hat das ausgesehen, das dilemma/maleur:
24.06.2014  17:57       109.318.144 cat.adx
22.06.2014  12:05             4.096 cat.aex
25.06.2014  16:44           196.673 cat.api
25.06.2014  00:16       122.339.576 cat.res
24.06.2014  15:22                90 cat.sgf
25.06.2014  00:16     1.101.056.184 cat.stl
24.06.2014  15:43        61.169.786 cat.tbl
24.06.2014  15:23               300 cat_1.ald

                                 +  ca 100 ald's a 64MB
                                 
25.06.2014  10:31     6.259.547.948 ii1
25.06.2014  10:44     3.779.290.877 ii2
25.06.2014  12:48     2.147.483.648 newinx

             140 Datei(en) 21.546.729.035 Bytes
               3 Verzeichnis(se), 118.188.531.712 Bytes frei


wenn qrix die letzten 3 dateien zusammenwürfeln wird, merke ich, 
größer als 2GB jeweils dürfen sie nicht werden. qrix stürzt ab! eine 
2GB-große datei bleibt übrig....



frage1: ist das korrekt so?
oder ist MEIN problem, das ich unter 32bit-wxp arbeite?
verhält sich dass 32bit-qrix völlig anders, wenn es auf einem 64bitter 
läuft?

index/qrix sind von 4/5 2014  (also aktuell)
es sind jeweils die 32bit-versionen.



2. derzeit versuche ich mein problem so zu lösen:
-morgen weiss ich es genau!-

so, nach einem versuch, mit !nur! wenigen ald's, siehts so aus:
26.06.2014  00:03        28.061.696 cat.aax
26.06.2014  00:05       442.122.240 cat.acx
26.06.2014  00:05       480.102.400 cat.adx
26.06.2014  00:03       385.054.720 cat.aex
25.06.2014  22:43            95.722 cat.api
25.06.2014  23:34        14.687.728 cat.res
25.06.2014  23:34       132.189.552 cat.stl
25.06.2014  22:48         7.343.862 cat.tbl
25.06.2014  22:45               300 cat_1.ald
25.06.2014  22:45        64.000.548 cat_120.ald
25.06.2014  22:46        64.000.260 cat_121.ald
25.06.2014  22:46        64.000.216 cat_122.ald
25.06.2014  22:46        64.000.168 cat_123.ald
25.06.2014  22:46        64.000.076 cat_124.ald
25.06.2014  22:46        64.000.336 cat_125.ald
25.06.2014  22:47        64.000.120 cat_126.ald
25.06.2014  22:47        64.000.432 cat_127.ald
25.06.2014  22:47        64.000.560 cat_128.ald
25.06.2014  22:47        64.000.328 cat_129.ald
25.06.2014  22:47        64.001.000 cat_2.ald
25.06.2014  22:47        64.000.780 cat_3.ald
25.06.2014  22:47        64.000.032 cat_4.ald
25.06.2014  22:48        64.000.216 cat_5.ald
25.06.2014  22:48        64.000.156 cat_6.ald
25.06.2014  22:48        64.000.220 cat_7.ald
25.06.2014  22:48        64.001.016 cat_8.ald
25.06.2014  22:48        64.000.244 cat_9.ald
              30 Datei(en)  2.641.744.515 Bytes



jeder versuch, die monsterdatenbank zu indexieren, wird 2-4 stunden 
dauern! bin am nachdenken, ob ich eine 10GB-große-ramdisk baue....
dazu hiesse es, auf einen (doppelherz: 3GHZ) XEON-workstation von HP zu wechseln mit 
32gb-ram (EEC), allerdings sind die platten da schon die nachfolger 
von SCSI (SAS)....

erstens mit ii=4 in der api die ald-größe auf 64MB hochzuschrauben.
das klappt prima! (auf wxp-32bit)

aber die letzten 10 zwischendateien, die qrix durchschütteln muss. die 
machen mir sorgen. 

deshalb meine quick&n&dirty-lösung:
verlagern von indexinhalten in aax,abx,acd,aex-dateien mit z.B.: "~c3" 
statt |3. soll heissen: der inhalt kommt nicht in die adx-datei, 
sondern ins dritte register welches in der acx-date liegt.

denke, ich werde glück haben, daß die letzten ii-dateien knapp unter 
2GB bleiben, dann wirds klappen.

nur was ist wenn die datenbank größer wird? und sie wird es werden, 
mit siebenmeilenstiefeln..... ;-)


also frage2: was machen SIE, wenn die qrix-dateien weit über 2GB 
ansteigen?????


merci fürs mitlesen
viele grüße aus dem mittelkalten radeberg



ps:: für die neugierigen: es ist NICHT die GND ;-)
die GND ist nicht ganz so groß, aber sie hat keine vollen TA's mit so viel stoff.







-- 
Mit freundlichen Grüßen,
Ihr Klaus Lehmann
http://allegronet.de * eMail: allegronet at t-online.de * phone: 03528-452 807(fax 809) * mobil: 0171-953 7843
allegronet.de * Klaus Lehmann * D-01454 Radeberg * Bahnhofstr. 1
zuständiges Finanzamt: FA Hoyerswerda, zuständige Kammer: IHK Dresden
zuständige Aufsichtsbehörde: Gewerbeamt Radeberg, USt-IdNr: DE247550760
* Software für zufriedene Bibliothekare: 1000x bewaehrt und ergiebig
* Bereits 4x allegro-utf8. Buchen Sie die allegro-Roadshow
* Yes we can. Only with allegro. Yes we do. Always with allegro.
* Internetkataloge & WebHosting für Allegro-C & Web 2.0 with VuFind
* 2011: Sponsor der Peter-Sodann-Bibliothek (Staucha)
* 2012: mit allegro-utf8 V3 und allegro-vufind auf der IFLA in Helsinki




Mehr Informationen über die Mailingliste Allegro