Suchergebnisse für Anfrage "floating-point-precision"

1 die antwort

epsilon für verschiedene float-werte

Es gibt

1 die antwort

Warum verliert die Verwendung von Modulo für nicht ganzzahlige Werte die Gleitkommagenauigkeit? [Duplikat]

1 die antwort

Wie vermeide ich Gleitkommafehler?

TOP-Veröffentlichungen

2 die antwort

Wie mache ich es, dass Zahlen nicht in wissenschaftlicher Form gezeigt werden?

2 die antwort

Holen Sie sich die nächstkleinere Double-Nummer

Im Rahmen eines Unit-Tests muss ich einige Randbedingungen testen. Eine Methode akzeptiert a

2 die antwort

einfache Gleitkommazahlen verlieren an Genauigkeit

Ich verwende Delphi XE2 Update 3. Es gibt Präzisionsprobleme mit selbst den einfachsten Gleitkommazahlen (wie3.7). Mit diesem Code (eine 32-Bit-Konsolen-App): program Project1; {$APPTYPE CONSOLE} {$R *.res} uses System.SysUtils; var s: Single; ...

2 die antwort

“GL_HALF_FLOAT” mit OpenGL Rendering und GLSL

Ich programmiere einen OpenGL-Renderer in C ++. Ich möchte, dass es so effizient wie möglich ist und jeder Scheitelpunkt / Normal / UV-Tex-Koordinate / Tangente / usw. so wenig Speicher wie möglich belegt. Ich benutze Indizes, Strips und Lüfter. ...

2 die antwort

Präzision von repr (f), str (f), print (f) wenn f float ist

Wenn ich laufe: >>> import math >>> print(math.pi) 3.141592653589793 Dann wird pi mit 16 Ziffern gedruckt, Wie auch immer, laut: >>> import sys >>> sys.float_info.dig 15Meine Genauigkeit beträgt 15 Stellen. So, sollte ich mich auf die letzte ...

3 die antwort

Java - maximaler Genauigkeitsverlust bei einer doppelten Addition / Subtraktion

3 die antwort

Genauigkeit der C ++ - Funktion für volle Quadrate