asort: akutes Problem

[Wolfgang Grein]

Liebe Kollegen,

das neue asort bricht beim Sortieren von 1,9
Millionen Sätzen (380 MB) sowohl unter NT4 (SP5)
als auch unter win98 mit der Meldung 'nicht
genuegend Arbeitsspeicher' ab. Der Rechner ist ein
450er Pentium mit 128 MB RAM.

Das alte asort (von 1995) schafft diese Menge auch
nicht: hier kommt beim Anlegen der 10.000sten
Zwischendatei die Meldung, dass diese nicht zu
oeffnen ist.

Wolfgang Grein, Stadtbibliothek Wilmersdorf von
Berlin


"B. Eversberg" schrieb:
> 
> Das Sortierprogramm ASORT.EXE hatte noch eine interne Begrenzung:
> es konnte nur Saetze bis zu 16K Groesse verarbeiten, bei groesseren
> Saetzen gab's Fehler. Weil das Problem nun ausgerechnet mit einem
> hierarchischen Datensatz fuer Beethovens Werke auftrat, war akuter
> Handlungsbedarf gegeben.
> 
> In mehrstuendigen Test- und Experimentier-Kraftakten ist es gestern
> gelungen, den internen Arbeitsraum des Programms zu verdoppeln, so
> dass Beethoven (mit 22K) durchkam. Die Grenze ist jetzt also 32K.
> Sollten wir allerdings zu einem hierarchischen Satz fuer JSB
> gelangen ... wird vermutlich im Vorfeld schon PRESTO oder a99
> streiken. Schon allein, wenn's nur die gesammelten Kantaten waeren,
> und davon gibt's ja nun mehr als eine Gesamtausgabe. (Doch wer nimmt
> die schon hierarchisch auf?)
> 
> Nun mag man sagen, 32K! Was ist das heute schon? Man hat doch
> Arbeitsspeicher von 64MB und darueber!
> Ja, aber beim Sortieren sortiert man ja nicht einen einzelnen Satz,
> sondern potentiell eine grosse Menge. Es muessen dann immer moeglichst
> viele zugleich geladen werden koennen, und dazu muss man intere
> Platzaufteilungen vornehmen und sich auch Gedanken um die Effizienz
> machen, die Schnelligkeit also, und dann kommt man nicht am Setzen von
> Grenzen vorbei. Zumal wir es bei ASORT ja immer noch mit einem DOS-
> Programm zu tun haben, wenn auch fuer "Huge Memory Model" kompiliert.
> Erst wenn wir eine 32bit- Version erstellen sollten (die natuerlich
> nicht mehr unter DOS liefe), koennte ploetzlich dann auch JSB
> ordentlich durchatmen. Soweit ist es aber noch nicht.
> 
> ASORT.LZH liegt auf  ac20/update
> 
> Unbeschwerten Sortiergenuss (z.B. bei den Klaengen von Op. 68 oder 73)
> wuenscht
> 
> B.E.
> 
> Bernhard Eversberg
> Universitaetsbibliothek, Postf. 3329,
> D-38023 Braunschweig, Germany
> Tel.  +49 531 391-5026 , -5011 , FAX  -5836
> e-mail  B.Eversberg at tu-bs.de