[Allegro] grenzen von qrix? eventuell abhängig von 64bit oder 32bit?
Klaus Lehmann
lehmann_klaus at t-online.de
Do Jun 26 01:03:23 CEST 2014
Guten Tag liebe kollegen
ich arbeite derzeit an einen großen projekt. später mehr. wenn es
endlich läuft....
!ein! problem. habe hier so 10 mill. datensätze.
sie zu indexieren, ist ein problem!
ca 8GB an ii?-dateien sind mit dem letzten vorgang zu mischen.
so hat das ausgesehen, das dilemma/maleur:
24.06.2014 17:57 109.318.144 cat.adx
22.06.2014 12:05 4.096 cat.aex
25.06.2014 16:44 196.673 cat.api
25.06.2014 00:16 122.339.576 cat.res
24.06.2014 15:22 90 cat.sgf
25.06.2014 00:16 1.101.056.184 cat.stl
24.06.2014 15:43 61.169.786 cat.tbl
24.06.2014 15:23 300 cat_1.ald
+ ca 100 ald's a 64MB
25.06.2014 10:31 6.259.547.948 ii1
25.06.2014 10:44 3.779.290.877 ii2
25.06.2014 12:48 2.147.483.648 newinx
140 Datei(en) 21.546.729.035 Bytes
3 Verzeichnis(se), 118.188.531.712 Bytes frei
wenn qrix die letzten 3 dateien zusammenwürfeln wird, merke ich,
größer als 2GB jeweils dürfen sie nicht werden. qrix stürzt ab! eine
2GB-große datei bleibt übrig....
frage1: ist das korrekt so?
oder ist MEIN problem, das ich unter 32bit-wxp arbeite?
verhält sich dass 32bit-qrix völlig anders, wenn es auf einem 64bitter
läuft?
index/qrix sind von 4/5 2014 (also aktuell)
es sind jeweils die 32bit-versionen.
2. derzeit versuche ich mein problem so zu lösen:
-morgen weiss ich es genau!-
so, nach einem versuch, mit !nur! wenigen ald's, siehts so aus:
26.06.2014 00:03 28.061.696 cat.aax
26.06.2014 00:05 442.122.240 cat.acx
26.06.2014 00:05 480.102.400 cat.adx
26.06.2014 00:03 385.054.720 cat.aex
25.06.2014 22:43 95.722 cat.api
25.06.2014 23:34 14.687.728 cat.res
25.06.2014 23:34 132.189.552 cat.stl
25.06.2014 22:48 7.343.862 cat.tbl
25.06.2014 22:45 300 cat_1.ald
25.06.2014 22:45 64.000.548 cat_120.ald
25.06.2014 22:46 64.000.260 cat_121.ald
25.06.2014 22:46 64.000.216 cat_122.ald
25.06.2014 22:46 64.000.168 cat_123.ald
25.06.2014 22:46 64.000.076 cat_124.ald
25.06.2014 22:46 64.000.336 cat_125.ald
25.06.2014 22:47 64.000.120 cat_126.ald
25.06.2014 22:47 64.000.432 cat_127.ald
25.06.2014 22:47 64.000.560 cat_128.ald
25.06.2014 22:47 64.000.328 cat_129.ald
25.06.2014 22:47 64.001.000 cat_2.ald
25.06.2014 22:47 64.000.780 cat_3.ald
25.06.2014 22:47 64.000.032 cat_4.ald
25.06.2014 22:48 64.000.216 cat_5.ald
25.06.2014 22:48 64.000.156 cat_6.ald
25.06.2014 22:48 64.000.220 cat_7.ald
25.06.2014 22:48 64.001.016 cat_8.ald
25.06.2014 22:48 64.000.244 cat_9.ald
30 Datei(en) 2.641.744.515 Bytes
jeder versuch, die monsterdatenbank zu indexieren, wird 2-4 stunden
dauern! bin am nachdenken, ob ich eine 10GB-große-ramdisk baue....
dazu hiesse es, auf einen (doppelherz: 3GHZ) XEON-workstation von HP zu wechseln mit
32gb-ram (EEC), allerdings sind die platten da schon die nachfolger
von SCSI (SAS)....
erstens mit ii=4 in der api die ald-größe auf 64MB hochzuschrauben.
das klappt prima! (auf wxp-32bit)
aber die letzten 10 zwischendateien, die qrix durchschütteln muss. die
machen mir sorgen.
deshalb meine quick&n&dirty-lösung:
verlagern von indexinhalten in aax,abx,acd,aex-dateien mit z.B.: "~c3"
statt |3. soll heissen: der inhalt kommt nicht in die adx-datei,
sondern ins dritte register welches in der acx-date liegt.
denke, ich werde glück haben, daß die letzten ii-dateien knapp unter
2GB bleiben, dann wirds klappen.
nur was ist wenn die datenbank größer wird? und sie wird es werden,
mit siebenmeilenstiefeln..... ;-)
also frage2: was machen SIE, wenn die qrix-dateien weit über 2GB
ansteigen?????
merci fürs mitlesen
viele grüße aus dem mittelkalten radeberg
ps:: für die neugierigen: es ist NICHT die GND ;-)
die GND ist nicht ganz so groß, aber sie hat keine vollen TA's mit so viel stoff.
--
Mit freundlichen Grüßen,
Ihr Klaus Lehmann
http://allegronet.de * eMail: allegronet at t-online.de * phone: 03528-452 807(fax 809) * mobil: 0171-953 7843
allegronet.de * Klaus Lehmann * D-01454 Radeberg * Bahnhofstr. 1
zuständiges Finanzamt: FA Hoyerswerda, zuständige Kammer: IHK Dresden
zuständige Aufsichtsbehörde: Gewerbeamt Radeberg, USt-IdNr: DE247550760
* Software für zufriedene Bibliothekare: 1000x bewaehrt und ergiebig
* Bereits 4x allegro-utf8. Buchen Sie die allegro-Roadshow
* Yes we can. Only with allegro. Yes we do. Always with allegro.
* Internetkataloge & WebHosting für Allegro-C & Web 2.0 with VuFind
* 2011: Sponsor der Peter-Sodann-Bibliothek (Staucha)
* 2012: mit allegro-utf8 V3 und allegro-vufind auf der IFLA in Helsinki
Mehr Informationen über die Mailingliste Allegro