Resultados de la búsqueda a petición "floating-point-precision"
¿Cómo se propaga el error de coma flotante cuando se realizan operaciones matemáticas en C ++?
Digamos que hemos declarado las siguientes variables float a = 1.2291; float b = 3.99; float las variables tienen precisión 6, lo que (si lo entiendo correctamente) significa que la diferencia entre el número que la computadora ...
¿Por qué el uso de módulo en valores no enteros pierde la precisión del punto flotante? [duplicar]
Esta pregunta ya tiene una respuesta aquí: * ¿Por qué veo una variable doble inicializada en un valor como 21.4 como 21.399999618530273? [/questions/177506/why-do-i-see-a-double-variable-initialized-to-some-value-like-21-4-as-21-3999996] ...
"GL_HALF_FLOAT" con renderizado OpenGL y GLSL
Estoy programando un renderizador OpenGL en C ++. Quiero que sea lo más eficiente posible y que cada vértice / normal / coord de texto UV / tangentes / etc. ocupe la menor cantidad de memoria posible. Estoy usando índices, franjas de línea y ...
Precisión de repr (f), str (f), print (f) cuando f es flotante
Si corro: >>> import math >>> print(math.pi) 3.141592653589793Luego pi se imprime con 16 dígitos, Sin embargo, de acuerdo con: >>> import sys >>> sys.float_info.dig 15Mi precisión es de 15 dígitos. Entonces, ¿debo confiar en el último dígito ...
Consigue el siguiente número doble más pequeño
Como parte de una prueba de unidad, necesito probar algunas condiciones de contorno. Un método acepta un
los números simples de punto flotante pierden precisión
Estoy usando Delphi XE2 Update 3. Hay problemas de precisión incluso con los números de coma flotante más simples (como3.7) Dado este código (una aplicación de consola de 32 bits): program Project1; {$APPTYPE CONSOLE} {$R *.res} uses ...