INFO: Dieses Forum nutzt Cookies...
Cookies sind für den Betrieb des Forums unverzichtbar. Mit der Nutzung des Forums erklärst Du dich damit einverstanden, dass wir Cookies verwenden.

Es wird in jedem Fall ein Cookie gesetzt um diesen Hinweis nicht mehr zu erhalten. Desweiteren setzen wir Google Adsense und Google Analytics ein.


Antwort schreiben 

viele Werte in Datei speichern



Wenn dein Problem oder deine Frage geklärt worden ist, markiere den Beitrag als "Lösung",
indem du auf den "Lösung" Button rechts unter dem entsprechenden Beitrag klickst. Vielen Dank!

21.08.2007, 10:58
Beitrag #1

darkmask Offline
LVF-Neueinsteiger


Beiträge: 4
Registriert seit: Aug 2007

8.2
2004
kA


Deutschland
viele Werte in Datei speichern
Hallo,

Ich habe 2 Messkarten von denen ich insgesamt 20 Analogkanäle auslese mit einer Abtastrate von 1KHz.
Mein Problem ist dass ich über 2 Stunden messen muss. Ergo, es kommen sehr viele Daten zusammen die ich wegspeichern muss.
Momentan habe ich die Daten mit der Funktion "write to Spreadsheet File" sequentiell in eine Datei geschrieben.
Mir macht die Dateigröße ein Problem, da ich als nächstes über 40 Tage je 2 Stunden aufzeichnen muss.

Gibt es keine elegante Lösung viele Daten wegzuspeichern?
Schließlich kann so eine DAQ-Karte einiges mehr. 1 GS sind doch heutzutage kein Thema mehr.
Es muss doch auch dann die Möglichkeit geben diesen Haufen an Daten wegzubekommen, oder ?

Vielleicht könnt ihr mir da weiterhelfen.

Viele Grüße,

Werner
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
Anzeige
21.08.2007, 11:08
Beitrag #2

Achim Offline
*****
*****


Beiträge: 4.222
Registriert seit: Nov 2005

20xx
2000
EN

978xx
Deutschland
viele Werte in Datei speichern
Und wo ist jetzt dein Problem? Was hakt denn genau? Ein bisschen konkreter solltest du schon werden!

Am besten mal dein VI posten, evtl. hast du nen grundsätzlichen (Programmier-) Fehler...

Gruss
A.

"Is there some mightier sage, of whom we have yet to learn?"

"Opportunity is missed by most people because it is dressed in overalls and looks like work." (Thomas Edison)
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
21.08.2007, 11:17
Beitrag #3

darkmask Offline
LVF-Neueinsteiger


Beiträge: 4
Registriert seit: Aug 2007

8.2
2004
kA


Deutschland
viele Werte in Datei speichern
Problem ist dass meine Datei über 1 GB groß ist.
Gibt es die Möglichkeit dass man z.B. indem man die daten als Binärdatei abspeichert die Dateigröße kleiner bekommt.
Wenn ich sonst über 40 Tage messe, platzt irgendwann meine Festplatte.

Mich interessiert es was ich machen kann, damit meine Daten schnell abgespeichert werden können und, vielleicht noch wichtiger, dass die Datei nicht allzu groß wird.

Gruß,

Werner
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
21.08.2007, 11:22
Beitrag #4

jg Offline
CLA & CLED
LVF-Team

Beiträge: 15.864
Registriert seit: Jun 2005

20xx / 8.x
1999
EN

Franken...
Deutschland
viele Werte in Datei speichern
Schau mal in der Palette der File-VI's nach, da gibt es z.B. die Funktion WriteToBinaryFile.

Da kannst du Zahlen dann im "internen" Speicherformat speichern, d.h. eine DBL belegt dann genau 8byte im File.

MfG, Jens

Wer die erhabene Weisheit der Mathematik tadelt, nährt sich von Verwirrung. (Leonardo da Vinci)

!! BITTE !! stellt mir keine Fragen über PM, dafür ist das Forum da - andere haben vielleicht auch Interesse an der Antwort!

Einführende Links zu LabVIEW, s. GerdWs Signatur.
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
21.08.2007, 11:27
Beitrag #5

Achim Offline
*****
*****


Beiträge: 4.222
Registriert seit: Nov 2005

20xx
2000
EN

978xx
Deutschland
viele Werte in Datei speichern
Hm,

wer lange misst hat viele Daten...

Probiers mit nem Binärfile halt einfach mal aus...das kannst du dann halt leider nicht mit z.B. Excel öffnen!

Gibts evtl. irgendwelche redundaten Daten, z.B. mehrfache Zeitstempel?

A.

"Is there some mightier sage, of whom we have yet to learn?"

"Opportunity is missed by most people because it is dressed in overalls and looks like work." (Thomas Edison)
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
21.08.2007, 11:38
Beitrag #6

RoLe Offline
LVF-Guru
*****


Beiträge: 1.236
Registriert seit: Jul 2007

-
1997
en

0
Schweiz
viele Werte in Datei speichern
Weis ja nicht was du misst und wozu.
Vielleicht kannst du ja die Datenmenge reduzieren, indem du die Daten vor dem schreiben analisiert, filteren oder was auch immer, und nur das schreibst das auch wichtig ist.
Was nützen die 1GB von Daten wenn davon 900Mb unrelevant ist?

.·´¯)--> Leben ist das, was dir passiert, wenn du eifrig dabei bist andere Pläne zu machen <--(¯`·.
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
21.08.2007, 12:02
Beitrag #7

darkmask Offline
LVF-Neueinsteiger


Beiträge: 4
Registriert seit: Aug 2007

8.2
2004
kA


Deutschland
viele Werte in Datei speichern
Für diesen Versuch ist es (leider) relevant, dass ich einen kompletten Zyklus eines Klimatests in einer Klimakammer aufzeichne.
Ein Zyklus dauert nun mal 2 Stunden. Die Prüflinge müssen in dieser Zeit komplett überwacht werden.

Bisher hatte ich einerseits Probleme mit der Speicherauslastung, d.h. der Speichervorgang hat relativ lange gedauert (ca. 150 ms).
Ich erstelle jeden Tag ein neues File in welches ich dann meine Daten hineinschreibe. Dies mache ich indem ich die gelesenen 2D-Werte von der DAQ-Karte über die Funktion in Spreadsheet Datei schreiben.
Von der DAQ-Karte lasse ich mir immer ein Datensatz von 1000 Samples bei einer Rate von 1KHz ausgeben, sprich 1 Sample entspricht 1ms.

Ich hole mir zu Beginn der Messung den Zeitstempel, damit ich eine Definierte Anfangszeit habe.
Wollte anfangs zu jedem Ausleseintervall die Zeit mitprotokollieren, aber habe davon abgesehen, da das Auslesen des Zeitstempels auch sehr viel Zeit beansprucht hatte.

Am Ende der Messung habe ich eine Datei die knapp 1 GB groß ist.

Mich interessiert es einfach ob es prinzipiell eine einfachere Methode gibt so viele Werte zu speichern.
Oder wie würdet ihr die Datei abspeichern. Habe irgendwo in Internet gelesen, dass ich die Datei um 2/3 kleiner hinbekomme wenn ich die Daten binär abspeichere.
Stimmt das?
Wie bekomme ich es dann hin wenn ich die Daten immer wieder an die Datei anhängen will.

Werner
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
21.08.2007, 12:06
Beitrag #8

Achimedes Offline
LVF-Freak
****


Beiträge: 544
Registriert seit: Aug 2005

2011
2001
DE

72461
Deutschland
viele Werte in Datei speichern
Die Idee mit Filtern ist mal keine schlechte Idee.
Kleiner als Binär wirst du die Dateinicht bekommen. Wahrscheinlich bringt auch Zip-en nix mehr.

Villeicht kannst du immer wenn dieDatei größer wie 100MB wird, ne neue datei beginnen und die alten Dateien in Messpausen auf einen Server schieben.

Eine 500GBPlatte kostet aber auch nicht mehr die Welt. Steckst du halt noch ein oder zwei in deinen Mess PC dazu.

Wer Rechtschreibfehler findet .... darf sie behalten.
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
21.08.2007, 13:01
Beitrag #9

RoLe Offline
LVF-Guru
*****


Beiträge: 1.236
Registriert seit: Jul 2007

-
1997
en

0
Schweiz
viele Werte in Datei speichern
Also es gibt noch folgendes:
(in englisch)
OpenG http://www.OpenG.org

Dort gibt es ein Packet "Large File I/O"
z.Bsp:

LF Write File (STR).vi - Writes an string using a double precision number as
offset to work for files larger than 2GB.

Hoffe es hilft
MfG RoLe

.·´¯)--> Leben ist das, was dir passiert, wenn du eifrig dabei bist andere Pläne zu machen <--(¯`·.
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
21.08.2007, 15:29
Beitrag #10

Achim Offline
*****
*****


Beiträge: 4.222
Registriert seit: Nov 2005

20xx
2000
EN

978xx
Deutschland
viele Werte in Datei speichern
' schrieb:Habe irgendwo in Internet gelesen, dass ich die Datei um 2/3 kleiner hinbekomme wenn ich die Daten binär abspeichere.
Stimmt das?
Wie bekomme ich es dann hin wenn ich die Daten immer wieder an die Datei anhängen will.
   

"Is there some mightier sage, of whom we have yet to learn?"

"Opportunity is missed by most people because it is dressed in overalls and looks like work." (Thomas Edison)
Alle Beiträge dieses Benutzers finden
Diese Nachricht in einer Antwort zitieren to top
30
Antwort schreiben 


Möglicherweise verwandte Themen...
Themen Verfasser Antworten Views Letzter Beitrag
  gelesene XML Datei ändern/speichern TpunktN 3 4.528 02.04.2020 09:25
Letzter Beitrag: Freddy
  Positionen (Werte) in Matrix speichern tahity94 37 19.921 12.02.2018 18:10
Letzter Beitrag: tahity94
  Datei lesen > anzeigen > verändern > speichern djbugs 5 6.887 26.01.2017 10:18
Letzter Beitrag: GerdW
  Werte speichern mit Zeitangabe und Title patriote00 2 4.880 15.01.2016 13:52
Letzter Beitrag: patriote00
  Werte aus Datei in FP Elemente laden Rigero 5 5.811 13.01.2016 14:20
Letzter Beitrag: Rigero
  Werte aus Signalverlaufsdiagramm in Datei speichern und laden montanaro 5 7.762 15.07.2015 06:56
Letzter Beitrag: montanaro

Gehe zu: