+- LabVIEWForum.de (https://www.labviewforum.de)
+-- Forum: LabVIEW (/Forum-LabVIEW)
+--- Forum: LabVIEW Allgemein (/Forum-LabVIEW-Allgemein)
+--- Thema: number to fractional string RUNDUNGSFEHLER??? (/Thread-number-to-fractional-string-RUNDUNGSFEHLER)
number to fractional string RUNDUNGSFEHLER??? - xandi_01 - 13.12.2011 21:36
Hallo Forum,
stehe gerade vor einem kuriosen RUNDUNGSPROBLEM.
Ich verwende die Funktion "number to fractional string" und scheinbar passiert hier bei der Rundung ein Fehler.
Habe im angefügten VI mal 7 verschiedene Fälle aufgelistet, bei dem meiner Ansicht nach in Fall 2 und 3 falsch gerundet wird!!!
Kann mir das jemand erklären? Oder liegt der Fehler bei mir?
Besten Dank im Voraus.
[attachment=37673]
RE: number to fractional string RUNDUNGSFEHLER??? - jg - 13.12.2011 21:57
Fließkommazahlen können in der Regel im Computer nicht exakt dargestellt werden.
Wenn man die Anzeige auf 18 signifikante Stellen erhöht, dann sieht man das besser. Und dann ist auch alles korrekt mit der Rundung:
[attachment=37674]
Gruß, Jens
RE: number to fractional string RUNDUNGSFEHLER??? - xandi_01 - 13.12.2011 22:02
DANKE Jens,
so ist es natürlich klar.