Suchergebnisse für Anfrage "precision"
Gleitkomma-Arithmetikfehler
Ich benutze die folgende Funktion, um die Ableitung einer Funktion an einem Punkt zu approximieren:
Genauigkeit des SQL Server-Datentyps - Neo, was ist real?
SQL Server 2000Dokumentation:Gibt Gleitkommazahlen mit den folgenden gültigen Werten an: –3,40E + 38 bis -1,18E - 38, 0 und 1,18E - 38 bis 3,40E + 38. Die Sp...
Wie rundest du ein Double in Dart mit einer bestimmten Genauigkeit NACH dem Dezimalpunkt?
Gegeben ein Doppel, ich möchte es auf eine bestimmte Anzahl von Punkten der Präzision rundennach dem Komma, ähnlich der round () - Funktion von PHP. Das nächste, was ich in den Dart-Dokumenten finden kann, ist double.toStringAsPrecision (), aber ...
Fließkomma-Gleichheitstest und zusätzliche Präzision: Kann dieser Code fehlschlagen?
Die Diskussion begann untermeine antwort auf eine andere frage. Der folgende Code bestimmtMaschine epsilon:
Wie man die maximale Genauigkeit für double @ ermitte
Ich versuche herauszufinden, wie hoch die maximale Präzision für ein Double ist. In den Kommentaren für die akzeptierte Antwort in diesem LinkRetain Präzision mit Doppel in ...
Golang konvertiert float64 nach int error
Wie kann ich Gleitkommafehler vermeiden, wenn ich float's in int's konvertiere? Beispielsweise wird der folgende Code gedruckt:0.5499999999999972 Wenn ich Wunde erwarte es zu drucken0.55. package main import "fmt" func main() { x := 100.55 ...
Extreme numerische Werte in Gleitkomma-Genauigkeit in R
Kann mir bitte jemand die folgende Ausgabe erklären. Ich weiß, dass es etwas mit Gleitkommapräzision zu tun hat, aber die Größenordnung (Differenz 1e308) überrascht mich. 0: hohe Präzision > 1e-324==0 [1] TRUE > 1e-323==0 [1] FALSE1: sehr ...
Warum ist 'Infinity' in Erlang's Floats nicht erlaubt?
Erlang (und damit Elixir) unterstützt Gleitkommazahlen. Einige mögliche Schwimmer: 1.23451.0e101.0e-42Erlang unterstützt NaN nan. in Erlang) (Ich bin jedoch noch nicht auf der Suche nach einer Methode, die @ ausgibnan selbst). rlang ...