[Allegro] nachträge zu: BigData mit allegro-C
Klaus Lehmann
lehmann_klaus at t-online.de
Mi Mai 18 15:39:09 CEST 2016
nur mal so geplaudert. man hat ja zeit.
über (meine) denkansätze zum Thema:
BigData mit allegro-C bin ich schon einiges losgeworden.
will doch mal den Focus auf die Grenzen richten:
1. 16.000bytes in 1 Datenfeld
und
2. 125.000bytes für 1 Datensatz
woher weiss ich das?
teilweise steht es in der offiziellen Doku. teilweise wurde es hier in
der liste irgendwann mal bekanntgegeben.
Jedenfalls trage ich das wissen in meiner generalcfg-datei mit herum.
da steht:
" Maximale Feldlänge: intern auf 16000 Byte festgelegt, nicht
einstellbar. (DOS: 10000)"
und
"mK250000 Groesse (in Bytes) 48.000 / 48.000
in a99/alcarta: 250.000 Bytes"
warum notiere ich nicht 250.000bytes?
weil ein datensatz 2x in den dafür reservierten maximalspeicher
reinpassen muss!
für mich notiere ich als echtes maximum: 120.000bytes!
sicher ist sicher ;-)
zu 1:
16kb für 1 Datenfeld ist bei bigdata nicht viel.
aber dank HFM haben wir unendlich (naja, nicht wirklich ;-) ) VIEL
platz!
fussnote #81.1000 bis #81.9999
ergibt 8999x16kb 143.984kb = 143MB für "ein" Datenfeld!
HALT! STOP!
man denke an des ZWEITE allegro Gesetzt! (oben bei 2.)
bei 125kb ist schluss mit lustig!
[aber lassen wir trotzdem die theorie im hinter[n]kopfe schmoren, sie
wird schon noch gar werden!]
trotzdem: so einige(=wenige!) felder mit richtig viel inhalt a 16kb bekommen wir
in einem datensatz schon unter....
zu 2:
ich habe lange nachgedacht, experimentiert. ich musste 1 1/2 jahre mit
den extremen datensätzen leben, die einfach megaschlecht waren. was
hatte ich mir 1 1/2 jahre lang ausgedacht? = MURKS eben!
teilen wir doch !physikalisch! die datensätze, und lassen den
"Primärschlüssel" als quasi-Bindeglied. Der Primärschlüssel(=PS) wird's
scho' richten.... DAS war der gedanke.....
Nixda!
Lauter Probleme! Teilweise viel zu lange primäre Schlüssel
kamen leider vor. Dann hatte ich mit einem Titel aus neuerer Zeit: 20
Datensätze mit übergroßen Feldern. d.h. ein Datensatz kam als PS 21x
vor! Da mein System auf update(.job) basiert, gab es RICHTIG stress.
die in halte landeten nicht immer da, wo ich sie haben wollte....
argh!
warum in die ferne schweifen, denn das gute liegt so nah' -> !!!!
allegro-C bringt es mit! es gehört zur GRUNDausstattung! himmel!
nebenbei: so lautet es korrekt und komplett:
„Willst du immer weiter schweifen?
Sieh, das Gute liegt so nah.
Lerne nur das Glück ergreifen,
Denn das Glück ist immer da.“
wovon rede ich?
Die Mehrbänder! ja natürlich!
Der Rest ist ganz einfach!
a. beherrsche die regel 1
kein feld größer als 16kb
b. und natürlich die regel 2
kein datensatz größer als 120kb
c. denke dir eine nummerierung aus, die platz hat. vergesse nicht den trick
mit #00 123456789+1=01 ("01"wenn zweistellig!)
d. ändere die d-wrft.apr SO um, daß die felder aus den weitentfernten
"banddatensätzen" zueinanderfinden, und z.b. !lückenlos!
hintereinander weggeschrieben werden.
e. ein paar indextricks muss man sich jetzt auch noch ausdenken, daß
einem das mit den mehrbändern nicht unangenehm auffällt. z.b. 21x den
treffer des PS aus HST, iss nich schön.... ;-)
soviel dazu.
allegro-imd sieht jetzt richtig sexy aus!
und was den nichtsnutzigen verfasser dieser wenigen zeilen so richtig
stolz macht: es läuft alles vollautomatisch!
und wir haben ca 11MB an skriptdateien, die von einer oberdatei
gesteuert werden, die dafür ca 30-40 tage benötigt!, die auch bei
"sensitiven points" sogenannte "snapshots" macht, damit man nicht bei
adam&eva wieder anfangen muss (oooh, wir oft habe ich das hinter
mir...). alle problempunkte werden abgefangen, automatisch erkannt,
dank perl, awk und co. natürlich auch mit avanti und den richtig guten
jobs aus der allegro-welt, die ich niemals anfertigen zu wüsste...
und richtig gute wardware! ein pc würde niemals 30-40 tage durchhalten,
normale platten auch nicht.
zufrieden vor sich hin und weg lächelnd,
sich auf abends mit Frau Riesling freuend,
grüßt Ihr Klaus Lehmann
--
Mit freundlichen Grüßen,
Ihr Klaus Lehmann
http://allegronet.de * eMail: allegronet at t-online.de * phone: 03528-452 807(fax 809) * mobil: 0171-953 7843
allegronet.de * Klaus Lehmann * D-01454 Radeberg * Bahnhofstr. 1
zuständiges Finanzamt: FA Hoyerswerda; zuständige Kammer: IHK Dresden;
zuständige Aufsichtsbehörde: Gewerbeamt Radeberg; USt-IdNr: DE247550760
* Software für zufriedene Bibliothekare: 1000x bewaehrt und ergiebig
* Bereits 4x allegro-utf8. Buchen Sie die allegro-Roadshow. Yes we can!
* Internetkataloge & WebHosting für Allegro-C & Web 2.0 mit VuFind
* 2011: Sponsor der Peter-Sodann-Bibliothek (Staucha)
* 2012: mit allegro-utf8 V3 und allegro-vufind auf der IFLA in Helsinki
* 2013: Bolero 64bit. Fußige Noten aufgeblättert (=Die Fußnotendoku)
* 2014: allegro-zdb: endlich. Die Wiedervereinigung! + eBooks
* 2015: allegro-vufind. Endlich! Noch moderner! Web2 auch für Ihren Katalog?
* 2016: allegro-imd.Die weltgrößte(?) Filmdatenbank nur für Filmbibliotheken
Lesen Sie auf http://portal.allegronet.de/allegrowerkstatt/allegro-windows die
Wahrheit zur Zukunft von allegro-C. Bilden Sie sich Ihre eigene Meinung! Lesen Sie!
Mehr Informationen über die Mailingliste Allegro