' schrieb:Wie wär's denn, statt dbl i32 zu verwenden. Ganzzahlen haben von Natur aus keine Rundungsfehler.
Ich erstelle eine Anwendung die einen
Graphen ausspuckt, der ne
Zeitachse hat und diesem als Einheit die
Sekund verwendet wird. Da aber meine Werte nicht alle paar Sekunden, sondern sich etwa im ms-Bereich befinden, hab ich mit dbl gearbeitet.
Hmmm ... ich müsste dann den ganzen Code davor (boh das ist viel, da ich viele SubVIs habe) an ms anpassen und dann bei der Zeitachse am Ende wieder dbl ausgeben. Aber für die Ausgabe des Graphen könnte das eigentlich reichen, solange am Ende nicht wieder so ein ähnliches Rundungsproblem auftritt!
Danke !!! Ich denke das werde ich ausprobieren!
' schrieb:Deine Addition ist weiterhin (rundungs-)fehlerbehaftet. Das Konvertieren nach I32 rundet deinen Wert - mit möglicherweise weiterer, ungewünschter Rundung. Die Division mit 100 führt weitere "Rechenfehler" ein, da 1/100 wie auch schon 1/10 nicht als (endlicher) Binärbruch darstellbar ist...
Rechnen mit Gleitkommazahlen kann so "unschön" sein
Ja da hast du absolut recht!
Ich hab jetzt über 210 Stunden für mein Projekt investiert und jetzt sehe ich plötzlich das mir mein Graph nicht genau Werte in so einem kleinen Wertebereich (also 2-3 Nachkommastellen) liefert. Er spuckt mir die Werte nicht bis zum Schluss aus oder bestimmte Zeichnungen fangen entweder ein tick zu früh oder ein tick zu spät anfangen ... Der Code sieht logisch aus aber das Ergebniss nicht
