Suchergebnisse für Anfrage "floating-accuracy"
Verbesserung der Genauigkeit von Strahlen- und Ellipsoidschnittpunkten
Ich muss die Präzision für die Funktion in einem von mir verbessernAtmosphärisch streuender GLSL-Fragment-Shader [https://stackoverflow.com/a/19659648/2521214] Hiermit wird der Schnittpunkt zwischen Einzelstrahl und achsenausgerichtetem Ellipsoid ...
Hohe numerische Präzision schwebt mit MySQL und dem SQLAlchemy ORM
Ich speichere einige Zahlen in einem MySQL mit dem ORM von SQLAlchemy. Wenn ich sie später abrufe, werden sie so abgeschnitten, dass nur 6 signifikante Stellen erhalten bleiben, wodurch meine Gleitkommazahlen viel präziser werden. Ich nehme an, ...
Die MySQL-Bedingung "größer als" gibt manchmal eine Zeile mit dem gleichen Wert zurück
Ich bin mit einer grundlegenden MySQL-Abfrage in ein verblüffendes Problem geraten. Das ist mein Tisch: id | rating 1 | 1317.17 2 | 1280.59 3 | 995.12 4 | 973.88Jetzt versuche ich, alle Zeilen zu finden, in denen dierating Spalte ist größer als ...
Exakte Textdarstellung eines IEEE-Double
Ich muss eine doppelte (64-Bit) Gleitkommazahl nach IEEE 754-1985 in einer für Menschen lesbaren Textform darstellen, unter der Bedingung, dass die Textform erneut analysiert werden kanngenau die gleiche (bitweise) Zahl. Ist das möglich / ...
Was ist ein einfaches Beispiel für Gleitkomma- / Rundungsfehler?
Ich habe von "Fehler" bei der Verwendung von Gleitkommavariablen gehört. Jetzt versuche ich, dieses Rätsel zu lösen und ich glaube, ich bekomme einen Rundungs- / Gleitkommafehler. Also werde ich endlich die Grundlagen des ...
Umgang mit Float-Präzision in Javascript [duplizieren]
Diese Frage hat hier bereits eine Antwort: Wie gehe ich mit Gleitkommazahlengenauigkeit in JavaScript um? [/questions/1458633/how-to-deal-with-floating-point-number-precision-in-javascript] 34 answersIch habe eine große Anzahl von numerischen ...
Wie breitet sich ein Gleitkomma-Fehler aus, wenn mathematische Operationen in C ++ ausgeführt werden?
Nehmen wir an, wir haben die folgenden Variablen deklariert float a = 1.2291; float b = 3.99; float -Variablen haben die Genauigkeit 6, was (wenn ich das richtig verstehe) bedeutet, dass die Differenz zwischen der Zahl, die der Computer ...
Wie finden Sie den nächstgelegenen ungleichen Wert eines Floats? [Duplikat
Diese Frage hat hier bereits eine Antwort: Wie ändere ich einen Float um das kleinste Inkrement (oder in der Nähe davon)? [/questions/155378/how-to-alter-a-float-by-its-smallest-increment-or-close-to-it] 7 answersA float (a.k.a. single) -Wert ...
float seltsame Ungenauigkeit Fehler in c [duplizieren]
Diese Frage hat hier bereits eine Antwort: Ist Gleitkomma-Mathematik kaputt? [/questions/588004/is-floating-point-math-broken] 28 answerstoday passierte mir etwas Seltsames, als ich versuchte, die Ausgabe dieses Codes zu kompilieren ...
Warum haben diese beiden float64 unterschiedliche Werte?
Betrachten Sie diese beiden Fälle: fmt.Println(912 * 0.01) fmt.Println(float64(912) * 0.01)( Go Playground Link [http://play.golang.org/p/k3OLoemaA8]) Der zweite druckt 9.120000000000001, was eigentlich in Ordnung ist,ch verstehe, warum das ...