Suchergebnisse für Anfrage "floating-point-precision"
Holen Sie sich die nächstkleinere Double-Nummer
Im Rahmen eines Unit-Tests muss ich einige Randbedingungen testen. Eine Methode akzeptiert a
einfache Gleitkommazahlen verlieren an Genauigkeit
Ich verwende Delphi XE2 Update 3. Es gibt Präzisionsprobleme mit selbst den einfachsten Gleitkommazahlen (wie3.7). Mit diesem Code (eine 32-Bit-Konsolen-App): program Project1; {$APPTYPE CONSOLE} {$R *.res} uses System.SysUtils; var s: Single; ...
“GL_HALF_FLOAT” mit OpenGL Rendering und GLSL
Ich programmiere einen OpenGL-Renderer in C ++. Ich möchte, dass es so effizient wie möglich ist und jeder Scheitelpunkt / Normal / UV-Tex-Koordinate / Tangente / usw. so wenig Speicher wie möglich belegt. Ich benutze Indizes, Strips und Lüfter. ...
Präzision von repr (f), str (f), print (f) wenn f float ist
Wenn ich laufe: >>> import math >>> print(math.pi) 3.141592653589793 Dann wird pi mit 16 Ziffern gedruckt, Wie auch immer, laut: >>> import sys >>> sys.float_info.dig 15Meine Genauigkeit beträgt 15 Stellen. So, sollte ich mich auf die letzte ...