Suchergebnisse für Anfrage "floating-accuracy"
Verbesserung der Genauigkeit von Strahlen- und Ellipsoidschnittpunkten
Ich muss die Präzision für die Funktion in einem von mir verbessernAtmosphärisch streuender GLSL-Fragment-Shader [https://stackoverflow.com/a/19659648/2521214] Hiermit wird der Schnittpunkt zwischen Einzelstrahl und achsenausgerichtetem Ellipsoid ...
Das Ergebnis des Castings von double nach int ist falsch
Es scheint einen obskuren Rundungsfehler zu geben, wenn ich den folgenden Code ausführe:
Hohe numerische Präzision schwebt mit MySQL und dem SQLAlchemy ORM
Ich speichere einige Zahlen in einem MySQL mit dem ORM von SQLAlchemy. Wenn ich sie später abrufe, werden sie so abgeschnitten, dass nur 6 signifikante Stellen erhalten bleiben, wodurch meine Gleitkommazahlen viel präziser werden. Ich nehme an, ...
Exakte Textdarstellung eines IEEE-Double
Ich muss eine doppelte (64-Bit) Gleitkommazahl nach IEEE 754-1985 in einer für Menschen lesbaren Textform darstellen, unter der Bedingung, dass die Textform erneut analysiert werden kanngenau die gleiche (bitweise) Zahl. Ist das möglich / ...
Faustregeln zur Minimierung von Gleitkommafehlern in C?
Zum Minimieren des Fehlers bei Gleitkommaoperationen, wenn ich eine Operation wie die folgende in C habe: float a = 123.456; float b = 456.789; float r = 0.12345; a = a - (r * b);Ändert sich das Ergebnis der Berechnung, wenn ich die ...
PHP / MySQL: Best Money Operations / Speicherpraktiken?
Ich plane also eine Anwendung (PHP / MySQL) zu erstellen, die viel Geld kostet, und ich denke darüber nach, wie ich mit dem Geld umgehen und es speichern kan...
Division und Fließkomma
Kann mir jemand helfen, warum x2 null druckt. Ich denke, weil die Gleitkommadarstellung X1 abgerundet ist, gibt es eine Möglichkeit, die Präzession zu halten.
Suchen Sie den nächstgelegenen Gleitkommawert in C ++, der kleiner als ein bestimmter ganzzahliger Wert ist?
Ich habe einen Gleitkomma-Eingabewert, der 0.0f <= value <1.0f ist (notiere weniger als eins).Wenn dieser Wert mit einem größeren Bereich multipliziert...
Was genau ist der Parameter "resolution" von numpy float
Ich bin auf der Suche nach mehr Verständnis für den "Resolution" -Parameter eines numpy float (ich denke, jeder computerdefinierte float für diese Angelegenheit). Betrachten Sie das folgende Skript: import numpy as np a = np.finfo(10.1) print ...
Avg of float inconsistency
Die Auswahl gibt direkt bei 23.000 Zeilen zurück. Die Ausnahme gibt zwischen 60 und 200 Zeilen (und nicht dieselben Zeilen) zurück. Ausnahme sollte 0 zurückgeben, da es sich um eine Ausnahme handelt. Wählen Sie ein @ au PK: [docSVenum1]. ...