Resultados de la búsqueda a petición "precision"
¿Cuál es la biblioteca estándar (o mejor soportada) de gran número (precisión arbitraria) para Lua?
Estoy trabajando con grandes números que no puedo haber redondeado. Usando la biblioteca matemática estándar de Lua, parece que no hay una forma conveniente de preservar la precisión más allá de algún límite interno. También veo que hay varias ...
Aritmética de punto flotante de media precisión en chips Intel
¿Es posible realizar aritmética de coma flotante de precisión media en chips Intel? Sé cómo cargar / almacenar / convertir números de coma flotante de precisión media [1] pero no sé cómo agregarlos / multiplicarlos sin convertirlos a números de ...
Precisión de coma flotante C ++ [duplicado]
Posible duplicado: Ejemplos de inexactitud de punto flotante [https://stackoverflow.com/questions/2100490/floating-point-inaccuracy-examples] double a = 0.3; std::cout.precision(20); std::cout << a << ...
Aritmética de coma flotante: operador de módulo en tipo doble
Así que estoy tratando de averiguar por qué el operador de módulo está devolviendo un valor inusual tan grande. Si tengo el código: double result = 1.0d % 0.1d; dará un resultado de0.09999999999999995. Esperaría un valor de0 Tenga en cuenta ...
¿Cuántos números dobles hay entre 0.0 y 1.0?
Esto es algo que he estado pensando durante años, pero nunca antes me tomé el tiempo para preguntar. Muchos generadores de números (pseudo) aleatorios generan un número aleatorio entre 0.0 y 1.0. Matemáticamente hay números infinitos en este ...
Determinar la precisión y la escala de un número particular en Python
Tengo una variable en Python que contiene un número de coma flotante (p. Ej.num = 24654.123), y me gustaría determinar la precisión del número y los valores de escala (en el sentido de Oracle), por lo que 123.45678 debería darme (8,5), 12,76 ...
¿Cómo determina JavaScript el número de dígitos a producir al formatear valores de punto flotante?
En JavaScript, todos conocen el famoso cálculo:0.1 + 0.2 = 0.30000000000000004. Pero, ¿por qué JavaScript imprime este valor en lugar de imprimir el más preciso y preciso?0.300000000000000044408920985006?
¿Cuál es exactamente el parámetro de "resolución" de flotador numpy
Estoy buscando un poco más de comprensión sobre el parámetro de "resolución" de un flotador numpy (supongo que cualquier flotador definido por computadora para el caso). Considere el siguiente script: import numpy as np a = np.finfo(10.1) print ...
¿Cómo se convierte a medias carrozas en JavaScript?
Quiero poder usar elOES_texture_half_float extensión en WebGL y proporcionar mis propios datos pero no hayFloat16Array en JavaScript Entonces, ¿cómo genero datos de medio flotante?
Escribir IEEE 754-1985 doble como ASCII en una cadena limitada de 16 bytes
Este es un seguimiento de mipublicación original [https://stackoverflow.com/questions/32629084/best-ieee-754-1985-representation-for-x3-9-1978-based-standard] . Pero lo repetiré por claridad: Según el estándar DICOM, se puede almacenar un tipo ...