Großes Array richtig handeln

Hallo,

ich bräuchte dringend eure Hilfe in Sachen Datenhandling, da ich einfach nicht darauf komme, wie man es am geschicktesten lösen kann.

Meine Situation ist folgende:
Ich messe mit meiner Apparatur in einem Durchlauf an ~ 300 Positionen. An jeder Position werden wiederum bis zu 16 Proben vermessen. Jede Vermessung einer Probe hat 2048 Werte zur Folge.
Insgesamt gibt es dann noch bis zu 200 Durchläufe. Summa summarum ergäbe dies also ein 200 x 300 x 16 x 2048 Array mit Integern gefüllt. Natürlich macht der Computer/RAM das nicht mit, da das viel zu groß wird (bereits beim Initialisieren des Arrays). Wichtig ist noch zu erwähnen, dass die exakten Dimensionen des hypothetischen Arrys bekannt sind. Es muss also nichts angefügt werden, sondern die Daten können in einem vorinitialisiertem Array ersetzt werden.

Letztendlich werden die Daten auch nach jedem Durchlauf in einer Datei gespeichert, sodass man sich eine Dimension sparen könnte. Jedoch sollten die Ergebnisse auch so geplottet (mit ausgewählter Probe und festem Wert aus dem 2048 Array) werden, dass alle bisherigen Messungen mit angezeigt werden. Von daher muss man die Daten ja irgendwie "mitschleppen".

Wie kann ich diese großen Datensätze in den Griff bekommen? Hatte auch evtl. Cluster angedacht, komme dabei jedoch nicht weiter.

Ich bin da wirklich ratlos und über jeden Tipp hier sehr dankbar!

Tausend Dank!
Johannes

Anzeige