[Allegro] grenzen von qrix? eventuell abhängig von 64bit oder 32bit?

Do Jun 26 09:27:52 CEST 2014

Guten Tag Herr Eversberg,
äußersten Dank für Ihre Nachricht.
Am Donnerstag, 26. Juni 2014 um 07:37 schrieben Sie.
Ihre Nachricht finden Sie am Ende dieser eMail.

> Am 26.06.2014 01:45, schrieb Klaus Lehmann:
 >> also: WO ist das problem. warum kann das allegro nicht?
 >> langsam fällt der (ost-)groschen: sagen sie bloss, es hat was mit
 >> 16bit-dos zu tun? da können die dateien NICHT größer als 2GB
 >> werden..... hm..... der zopf MUSS ab!

> Solche Vorstellungen mögen sich intuitiv aufdrängen, aber sie sind
> unrealistisch. Das Zopfabschneiden ist hier eine vollkommen
> ungeeignete Metapher, sie suggeriert, jemand müsse nur beherzt
> eine Schere oder Machete zur Hand nehmen und ratsch, ist das Problem
> weg. Weit gefehlt, das wahre Problem ist gänzlich anderer Natur
> und mit keinem groben Werkzeug mal eben aus der Welt zu schaffen.

Herrn Bergers Antwort und Ihre haben mich verstehen lassen.
Es ist gar kein "Zopf". Sorry vielmals!
Ich dachte, es sei nur eine kleine Änderung vorzunehmen, wie man die 
2GB-Grenze überwinden kann. Es liegt also tiefer.

Möchte etwas ausholen, wie ich zu meiner Meinung gekommen bin... 
es ist ja nicht schlimm, mal über den Tellerrand zu blicken.
a. seit ca 20 Jahren bin ich Nutzer von ZOC (eine DFÜ-shell aus 
os2-zeiten). Vorvorgestern(sic) entdeckte ich, man kann damit nicht 
Dateien downloaden, die größer als 2GB sind. ZOC verwendet sz (in 
linux bekannt, uraltes Teil). keiner hatte das Problem, keiner hatte 
so riesige Dateien mit sz runterzuziehen. Es hat 2 Tage gedauert, dann 
war das Problem behoben.
b. Wie maßlos fasziniert bin ich von dem Text: grenzen.htm .Wohl 2011 zum 
letzten Male korrigiert&ergänzt. Da steht, unbd das zitiere ich gerne, um 
Bibliotheken Angst zu nehmen, oder ihnen die Größe von allegro-C zu zeigen:

"Datenbank
Eine allegro-Datenbank könnte maximal 232-1=4.294.967.295 Sätze 
enthalten. Die größten Datenbanken liegen bisher bei 15 Millionen Sätze. Man muß nirgends etwas für die Größe der eigenen Datenbank einstellen. "

Bis HIERHIN hatte ich IMMER gelesen. 

Nun ein wenig weiter steht: (autsch): 

"Index .... Wegen der Variabilität kann hier 
keine maximale Anzahl von Einträgen errechnet werden. Bei der größten bekannten Datenbank lag die Anzahl der Indexeinträge oberhalb 180 Millionen, wobei noch keine Probleme auftraten. Als Datei kann der Index jedoch nicht größer als 2 GB werden."

Da haben wir haben wir wieder das verflixte siebente Jahr.
Empfehlung: den text etwas verbessern: "Der Index kann jedoch aus 
maximal x Dateien bestehen, und diese jeweils können die Grenze von 
2GB nicht überschreiten."
[Ich glaube, x kann ohne Probleme 23 sein. die kleinen Buchstaben des 
alphabetes, ohne umlaute. Oder kann x kleiner gleich 255 sein?]
[*.azx müssen wir abziehen!]

> Sie wissen, ich bin für eine äußerst vorsichtige Verwendung von
> Metaphern im Softwarebereich. Hier haben wir ein äußerst *krasses*
> Beispiel, mit dem total unrealistische Vorstellungen evoziert
> werden. Hier lesen doch viele mit, die solche Dinge wirklich nicht
> einschätzen können, bedenken Sie das bitte. Bewegen läßt sich auf
> diese Weise weniger als nichts, wohl aber Unruhe und Verwirrung stiften.
> Auch unter Ihrer eigenen Klientel!
Bei meiner eigenen Klientel muss ich ganz anderere !schlimmere! Themen 
ausbügeln. Eigentlich ist es nur EIN Thema: "Was wird mit allegro-C?"
Das geht schon seit ca 3-4 Jahren so!

> Damit es richtig verständlich wird, ist etwas weiter auszuholen.
Danke! DAS verstehe ich (endlich). Auch Herrn Berger Sprache war mir 
(endlich) sehr verständlich! Aber das liegt an mir ;-)  , !nicht! an den 
Schreibenden ;-)

> Zum Hintergrund:
....

> So kam es, daß wir in 2 GB keine wirkliche Grenze sahen. Und folglich
> wurden Satznummern und Adressen in Dateien in 4 Byte codiert, also
> 32bit, statt in 8 Byte (64 Bit), was uns damals absurd großspurig
> erschienen wäre und auch die Performance spürbar gedrückt hätte.
> Zudem war das noch nicht die Zeit der objektorientierten
> Programmierung, die es viel leichter gemacht hat, all solche Parameter
> in einer Weise "einkapseln" zu können, die eine spätere Ausweitung
> dann etwas einfacher macht. Wenn auch nicht annähernd so einfach
> wie ein Zopfabschneiden; das bliebe immer noch ein, mit Verlaub,
> groteskes und inakzeptabel primitives Bild für diese Sache.

> Langer Rede kurzer Sinn: Auf dem Boden der heutigen Tatsachen können wir
> denen, die bei allegro bleiben wollen, aber riesige Datenmengen haben,
> nur empfehlen, Solarkraft einzusetzen:

>    http://www.allegro-c.de/doku/solr.htm

Tja,. dazu muss ich erstmal sehen, was ich mit dem neugeschaffenen 
Dingsbums/Monster "machen" kann ;-)  Dann schauen wir weiter.
Eigentlich weiss ich es bereits: und jetzt wird die Katze aus dem viel 
zu engen/kleinen Sack gelassen [ich liebe "Bilder"! man verzeihe mir 
;-) ]
In Arbeit ist. die ZDB
Titeldaten und alle Lokaldaten. Wunderschön miteinander verknüpft.
Sinn, ich muß an die TA's und Lokaldaten einer Bibliothek ran. Es gibt 
bestimmt andere Wege, die marc-Daten für sichzu eschliessen, an die 
Informationen heranzukommen, allegro-C scheint mir der schönste! Man 
kennt ja nichts Anderes.....

> Also den eigentlichen Benutzungsindex "outsourcen" in ein anderes,
> dafür geschaffenes, viel moderneres Konzept und System. Die Grundlagen
> dafür haben wir 2010 geschaffen, als wir endlich auch kapiert hatten,
> daß 2 GB nicht wirklich viel ist. Aber unsere Reaktion war eben nicht,

> ein veraltetes Konzept (Nutzer verstehen keine alphabetischen Register
> mehr) nochmal aufmöbeln zu wollen, sondern eben was moderneres mit
> allegro zu verbandeln.

naja. dann sind die Nutzer (mir) einfach zu doof. (das ist sehr flott 
gesagt). Mit einem klassischen Bibl.System finde ich meine Infos 
leicht UND zielgerichtet! Mit dem "google-schlitz" weiss ich nicht 
(genau), WAS ich suche, und WAS ich bekomme. es ist alles so 
klickibunti hier....  Und, um dem eins drauf zusetzen: die Herren (und 
Damen) der Kataloge haben vergessen, was sie !gelernt! [ich nicht!] haben. 
Heute: "Kinder der Maus". "Mit google kommen wir ans Ziel". 
jaja, da haut der lehmann wieder auf die Pauke. Noch'n Bild.  
"Auf die Pauke hauen." Wer hat das immer getan? 
Wolfgang Neuss (nach Heinz Erhardt das nächste Gedicht!). das muss ich 
erzählen. Olle Neuss hat in seinen letzten Jahren in Charlottenburg 
gewohnt. der Lehman auch! ;-) Neuss hat wie ein Weltmeister gekifft. 
Der Lehmann nicht ;-) Neuss ist jeden Tag, ins Cafee am 
Charlottenburger Schloss hingegangen, hat sich alle Zeitungen 
geschnappt, und gelesen, sich Notizen gemacht. Der Lehmann und seine 
damalige Olle (auch "Ische" genannt, oder "bessere Hälfte") waren in 
diesem Cafee öfters -man ging damals ins Cafee!- haben sich zufällig 
am Nebentisch des Kiffers sich hingesetzt, und den Meister beim Lesen 
beobachtet. Und natürlich NICHT angesprochen. sowas tat man nicht!
Wer kennt noch die herrlichen Szenen im nordwestdeutschen Fernsehen, 
wo der Bürgermeister, späterer Präsident Weizsäcker dem Neuss übers 
Maul fuhr, und sagte (sinngemäß) "Halt doch mal endlich die Gusche". 
HERRlich. Das war einige Jahre VOR 1989. Neuss hat den August 1989 
-leider- NICHT erlebt.

und noch'n jedicht: ich erwähnte den Bundespräsidenten. Am kommenden 
Sonnabend/Samstag feiern Lehman und seine (neue) Olle den 55/50sten! 
Die neue Wohnung gegenüber der Brauerei (Radeberger!) gilt es 
ebenfalls zu befeiern. Die allegroWerkstatt ist auch neu!
Wir wollen mit den Gästen auch in den Keller gehen, um nach 
dem direkten Verbindungsrohr zur Brauerei zu suchen, welches zu den Bierkesseln 
führt, die gegenüber der Straße stehen (man schaue mal in 
googlemaps, welche Aussicht die Lehmann zur Strassenseite haben ;-). 
Die Brauerei liegt zum Greifen nahe ;-)
Im Ernst: wir wohnen in den "Braumeisterhäusern" aus dem Jahre 1860 
(oder so), und Radeberg (man nennt die Stadt auch "Redeberg" 
;-)  flüstert immer: "Im Keller da liegt das alte Verbindungsrohr, da 
kann man kostenlos zapfen".... 
ODER war das nur ein Trick, um Mieter in die Häuser zu locken?
Endlich zum !Bundespräsidenten!. Wir werden einen zu Gast haben! 
"Einen Bundespräsidenten", hätteich fast gesagt ....
KEIN Witz! (allerdings) genauer: 
Einen Bundestagspräsidentschaftskandidaten. 
ich habe Peter Sodann eingeladen und er kommt. Auf dem Programm ist 
auch einen Brauereiführung! ;-)

zur ZDB, ein viel schöneres Thema:
-!nicht! angedacht ist, das "Monster" im Internet zur Verfügung zu 
stellen (als Möglichkeit sich TA's runterziehen). Das Copyright muss 
geklärt werden.
-angedacht ist, interessierten Bibliotheken Datenbestände zur 
Verfügung zu stellen, die sie in den eigenen Katalog reinbringen 
wollen. Nach dem Motto: nicht nur Medien (z.b. eBooks [tztztz]), 
sondern auch Zeitschriften und Zeitungen gehören in EINEN Katalog 
rein.
-was ich weiss, zum Thema Copright, nebenbei: die zdb-Daten werden von 
der dnb für den freien download zur verfügung gestellt.

ich weiss leider immer noch nicht, ob meine arbeitsversion der 
zdb-datenbank funktionsfähig sein wird, aber mit dem wissen, daß jede 
a?x-datei eben kleiner gleich 2GB sein muss, kann man schon 
-gezwungenermassen - was anfangen! ;-)
heute nacht um 03.00 habe ich die weinflasche zugemacht, die zdb war 
am indexieren, heute morgen um 8.00 war sie weiterhin am indexieren, 
und jetzt um 8.50 geht es in die letzte Runde. In einer Stunde weiss 
ich hoffentlich, die die a?x-dateien verteilt sind ;-) UND dann kann 
ich damit arbeiten ;-)
--> wen das thema interessiert, bitte per eMail sich an mich wenden. 
Danke.

...beim schreiben sehe ich, nach 8 stunden wartezeit: keine a?x-dateien 
sind entstanden. windows meldet sich mit einem qrix-fehler. nur drei 
grosse dateien sind zu sehen. ii1+ii2 und newinx (beide zusammen 10GB 
schwer). mist/merde/paska  (letzteres ist finnisch!)

morgendliche Grüße an Alle
Ihr Klaus Lehmann

> B.E.

-- 
Mit freundlichen Grüßen,
Ihr Klaus Lehmann
http://allegronet.de * eMail: allegronet at t-online.de * phone: 03528-452 807(fax 809) * mobil: 0171-953 7843
allegronet.de * Klaus Lehmann * D-01454 Radeberg * Bahnhofstr. 1
zuständiges Finanzamt: FA Hoyerswerda, zuständige Kammer: IHK Dresden
zuständige Aufsichtsbehörde: Gewerbeamt Radeberg, USt-IdNr: DE247550760
* Software für zufriedene Bibliothekare: 1000x bewaehrt und ergiebig
* Bereits 4x allegro-utf8. Buchen Sie die allegro-Roadshow
* Yes we can. Only with allegro. Yes we do. Always with allegro.
* Internetkataloge & WebHosting für Allegro-C & Web 2.0 with VuFind
* 2011: Sponsor der Peter-Sodann-Bibliothek (Staucha)
* 2012: mit allegro-utf8 V3 und allegro-vufind auf der IFLA in Helsinki
* 2013: allegronet ist ein eingetragenes Warenzeichen

Am Donnerstag, 26. Juni 2014 um 07:37 schrieben Sie:
> Am 26.06.2014 01:45, schrieb Klaus Lehmann:
>>
>>> offensichtlich duerfen ii1 und ii2 ja groesser als 2GB werden,
>>> d.h. sie muessten "nur" darauf achten, dass cat.adx, cat.aex, cat.afx
>>> etc. jede fuer sich unterhalb der Grenze bleiben. (Trotzdem

>> ja, das ist ja das problem! aus den obigen 10GB ii-dateien muss man
>> seinen index so gestalten, daß man mit den cat.a?x-dateien eben unter
>> die 2GB kommt.
>>
 >> also: WO ist das problem. warum kann das allegro nicht?
 >> langsam fällt der (ost-)groschen: sagen sie bloss, es hat was mit
 >> 16bit-dos zu tun? da können die dateien NICHT größer als 2GB
 >> werden..... hm..... der zopf MUSS ab!

> Solche Vorstellungen mögen sich intuitiv aufdrängen, aber sie sind
> unrealistisch. Das Zopfabschneiden ist hier eine vollkommen
> ungeeignete Metapher, sie suggeriert, jemand müsse nur beherzt
> eine Schere oder Machete zur Hand nehmen und ratsch, ist das Problem
> weg. Weit gefehlt, das wahre Problem ist gänzlich anderer Natur
> und mit keinem groben Werkzeug mal eben aus der Welt zu schaffen.
> Sie wissen, ich bin für eine äußerst vorsichtige Verwendung von
> Metaphern im Softwarebereich. Hier haben wir ein äußerst *krasses*
> Beispiel, mit dem total unrealistische Vorstellungen evoziert
> werden. Hier lesen doch viele mit, die solche Dinge wirklich nicht
> einschätzen können, bedenken Sie das bitte. Bewegen läßt sich auf
> diese Weise weniger als nichts, wohl aber Unruhe und Verwirrung stiften.
> Auch unter Ihrer eigenen Klientel!

> Damit es richtig verständlich wird, ist etwas weiter auszuholen.

> Zum Hintergrund:
> Die Indexroutinen wurden 1988 geschaffen, vor 26 Jahren. Noch 1991
> hatten Festplatten der Oberklasse knapp 200 MB und kosteten 2000 Mark.
> Die Staatsbibliothek in Ostberlin hatte damals eine Platte mit 20 MB.
> In dem Umfeld von 1988 waren Platten mit mehr als 2 GB total utopisch.
> (Und auch Internet war noch nebulöse Utopie.)
> Eine theoretisch mögliche Dateigröße von 2 GB mußte uns also gigantisch
> vorkommen. Hätten wir die Vorstellung gehabt (hatten wir aber nicht)
> unsere Software könnte mehr als 20 Jahre überdauern (bis weit ins 21. 
> Jh. hinein!), wir wären evtl. doch nachdenklich geworden. Wir dachten
> vielmehr, daß schon in wenigen Jahren ganz andere Konzepte und Systeme
> kommen würden, schließlich wurde ja weltweit überall heftig entwickelt
> an solchen Dingen wie Datenbanken. (Daher programmierten wir als erstes
> den Export, mit einem denkbar flexiblen Konzept, und zwar auch, um
> sicherzugehen, die Daten jederzeit in jeder gewünschten Form
> rauskriegen zu können aus unserm System, um sie dann einem neueren,
> besseren übergeben zu können. Erst danach kam das Indexieren, und das
> profitierte dann schon mächtig auch von dem Exportkonzept.)

> So kam es, daß wir in 2 GB keine wirkliche Grenze sahen. Und folglich
> wurden Satznummern und Adressen in Dateien in 4 Byte codiert, also
> 32bit, statt in 8 Byte (64 Bit), was uns damals absurd großspurig
> erschienen wäre und auch die Performance spürbar gedrückt hätte.
> Zudem war das noch nicht die Zeit der objektorientierten
> Programmierung, die es viel leichter gemacht hat, all solche Parameter
> in einer Weise "einkapseln" zu können, die eine spätere Ausweitung
> dann etwas einfacher macht. Wenn auch nicht annähernd so einfach
> wie ein Zopfabschneiden; das bliebe immer noch ein, mit Verlaub,
> groteskes und inakzeptabel primitives Bild für diese Sache.

> Nein, die Realität sieht in diesem Bereich nicht hoffnungsvoll aus,
> da wäre es unverantwortlich, wollte ich Hoffnungen erwecken. Ich wüßte
> schlicht gar nicht, woher die Zeit nehmen, um die Indexroutinen
> in diesem Sinne zu überarbeiten. Das waren damals einige Monate
> harte Entwicklungsarbeit, aber was man vor 25 Jahren gemacht hat,
> muß man ja erst mal wieder verstehen, bevor man es gründlich
> ändern kann oder gar ganz neu schreiben!

> Langer Rede kurzer Sinn: Auf dem Boden der heutigen Tatsachen können wir
> denen, die bei allegro bleiben wollen, aber riesige Datenmengen haben,
> nur empfehlen, Solarkraft einzusetzen:

>    http://www.allegro-c.de/doku/solr.htm

> Also den eigentlichen Benutzungsindex "outsourcen" in ein anderes,
> dafür geschaffenes, viel moderneres Konzept und System. Die Grundlagen
> dafür haben wir 2010 geschaffen, als wir endlich auch kapiert hatten,
> daß 2 GB nicht wirklich viel ist. Aber unsere Reaktion war eben nicht,
> ein veraltetes Konzept (Nutzer verstehen keine alphabetischen Register
> mehr) nochmal aufmöbeln zu wollen, sondern eben was moderneres mit
> allegro zu verbandeln.

> B.E.

> _______________________________________________
> Allegro mailing list
> Allegro at biblio.tu-bs.de
> http://sunny5.biblio.etc.tu-bs.de/mailman/listinfo/allegro