Suchergebnisse für Anfrage "precision"
Bestimmen Sie die Genauigkeit und den Maßstab einer bestimmten Zahl in Python
Ich habe eine Variable in Python, die eine Gleitkommazahl enthält (z. B.num = 24654.123), und ich möchte die Genauigkeit und die Skalierungswerte der Zahl (im Oracle-Sinne) bestimmen, daher sollte 123.45678 (8,5), 12.76 (4,2) usw. ergeben. Ich ...
Was genau ist der Parameter "resolution" von numpy float
Ich bin auf der Suche nach mehr Verständnis für den "Resolution" -Parameter eines numpy float (ich denke, jeder computerdefinierte float für diese Angelegenheit). Betrachten Sie das folgende Skript: import numpy as np a = np.finfo(10.1) print ...
Schreiben von IEEE 754-1985 als ASCII-Datei in einer begrenzten Zeichenfolge von 16 Byte
Dies ist ein Follow-up zu meinemoriginal post [https://stackoverflow.com/questions/32629084/best-ieee-754-1985-representation-for-x3-9-1978-based-standard] . Aber ich werde es aus Gründen der Klarheit wiederholen: Gemäß DICOM-Standard kann ein ...
Wie konvertieren Sie in JavaScript in halbe Floats?
Ich möchte das @ benutzen könnOES_texture_half_float -Erweiterung in WebGL und meine eigenen Daten bereitstellen, aber es gibt keinFloat16Array in JavaScript. Wie erstelle ich also Half Float-Daten?
MongoDB: So erhalten Sie die Genauigkeit von N Dezimalstellen in einer Abfrage
Gab die folgenden Dokumente in einer MongoDB-Sammlung ... { "_id": 1, "amount": { "value": 1.123456789999, "rate": 1.2 }} { "_id": 2, "amount": { "value": 2.9844, "rate": 1.2 }} { "_id": 3, "amount": { "value": 1.123876, "rate": 1.2 }} { "_id": ...
Ist die Verwendung von Maschinen-Epsilon für Gleitkomma-Gleichheitstests geeignet?
Dies ist ein Follow-up zuPrüfung auf Gleitkommawertgleichheit: Gibt es einen Standardnamen für die Konstante ...
Ist numpy.sum so implementiert, dass numerische Fehler vermieden werden?
Es ist allgemein bekannt, dass das Addieren von Zahlen zu numerischen Fehlern führen kann (zum Beispiel, wenn die erste Zahl wirklich groß ist, während es viele andere kleine Zahlen gibt). Dies kann gelöst werden, indem die Zahlen nicht einfach ...
Differenz zwischen toFixed () und toPrecision ()?
Ich bin neu in JavaScript und habe gerade @ entdectoFixed() undtoPrecision(), um Zahlen zu runden. Ich kann jedoch nicht herausfinden, was der Unterschied zwischen den beiden ist. Was ist der Unterschied zwischennumber.toFixed() ...
Doppelte Genauigkeit in C ++ (oder pow (2, 1000))
Ich arbeite an Project Euler, um meine C ++ - Codierungsfähigkeiten zu verbessern, um mich auf die Programmierherausforderung (en) vorzubereiten, die wir im nächsten Semester haben werden (da wir Python nicht verwenden dürfen, boo!). Ich bin ...
wie viele ganze Zahlen in IEEE 754
Ich versuche herauszufinden, wie viele verschiedene ganze Zahlen im ieee 754 existieren. Die Zahl, die ich erhielt, war 1778384895, aber ich konnte keine Ressource finden, um mich selbst zu überprüfen. Vielen Dank im Voraus