Resultados de la búsqueda a petición "precision"
MATLAB precisión
¿Cómo puedo implementar precisión cuádruple (aritmética de 128 bits) en MATLAB mientras resuelvo un problema de valor propio de Matrix? stoy tratando de resolver un problema de análisis de estabilidad lineal para el flujo de Couette en el plano ...
Descompresión de flotadores de media precisión en Javascript
Estoy tratando de leer un archivo binario con javascript que contiene muchos números de coma flotante de 16 bits. Bastante seguro de que es el estándar IEEE, little endian. Es bastante sencillo leer los dos bytes en un int, pero a partir de ahí ...
Precisión de punto flotante mientras se usa max () @ de Pyth
¿Porque >>> max(2, 2.01) 2.0099999999999998
javascript redondo entero grande porque precisión? (¿por qué?
si escribe 78764357878563812 en cromo o en safari, obtendrá Si lo hace for(var i = 0; i < 30; i++){console.log(i + " == " + 78764357878563800 + " ? ");console.log((78764357878563790+i) == 78764357878563800);}mpiezas a comparar valores de ...
Convertir flotante al doble pierde precisión pero no a través de ToString
Tengo el siguiente código float f = 0.3f; double d1 = System.Convert.ToDouble(f); double d2 = System.Convert.ToDouble(f.ToString());Los resultados son equivalentes a: d1 = 0.30000001192092896; d2 = 0.3; Tengo curiosidad por saber por qué esto ...
¿Cómo veo tiempos de consulta de alta precisión en la línea de comandos de mysql?
Estoy trabajando en un trabajo de optimización, y he notado que en algunos volcados de mysql la gente publica en artículos y preguntas (que no puedo encontrar de nuevo ahora que estoy buscando), hay tiempos de ejecución de alta precisión ...
Punto flotante de media precisión en Java
¿Existe una biblioteca Java en cualquier lugar que pueda realizar cálculos en IEEE 754 de media precisión [http://en.wikipedia.org/wiki/Half_precision_floating-point_format] números o convertirlos hacia y desde doble precisión? Cualquiera de ...
Es posible eliminar errores de coma flotante sin recurrir a tipos de datos de precisión arbitraria?
e preguntaba si, en condiciones específicas, es posible eliminar los errores de coma flotante sin recurrir a tipos de datos de precisión arbitrari El problema es el habitual. El idioma es Ruby, pero se mantiene en cualquier idioma: f = 1829.82 ...
¿Valores flotantes de precisión doble en Python?
Existen tipos de datos con mejor precisión que flotantes?
C # Convertir objeto a decimal
Estoy tratando de convertir un objeto con el valor0.39999999999999997 a una variable decimal sin perder la precisión. object d = 0.39999999999999997; He probado los siguientes métodos. decimal val1 = Convert.ToDecimal(d); // val1 = 0.4 object ...