Resultados de la búsqueda a petición "precision"
Servidor SQL Precisión Locura
Tengo un problema con la precisión del servidor SQL. Tengo las siguientes consultas: DECLARE @A numeric(30,10) DECLARE @B numeric(30,10) SET @A = 20.225 SET @B = 53.3875 SELECT @A * @B DECLARE @A1 numeric(30,14) DECLARE @B1 numeric(30,14) ...
En MATLAB, ¿las variables REALMENTE tienen doble precisión por defecto?
Esta pregunta surgió de algo extraño que noté después de investigaresta pregunta [https://stackoverflow.com/q/4222257/52738]promover, adicional... Siempre entendí que las variables de MATLAB sonPrecisión ...
¿Alta precisión aritmétrica en Python y / o C / C ++?
Resumen: ¿Qué paquete de Python o C-Library es la mejor opción para operaciones aritméticas de muy alta precisión? Tengo algunas funciones que convierten días fraccionarios (0.0-0.99999..) a un formato legible para el ser humano (horas, minutos, ...
javascript redondo entero grande porque precisión? (¿por qué?
si escribe 78764357878563812 en cromo o en safari, obtendrá Si lo hace for(var i = 0; i < 30; i++){console.log(i + " == " + 78764357878563800 + " ? ");console.log((78764357878563790+i) == 78764357878563800);}mpiezas a comparar valores de ...
Formato decimal sin redondeo .net
Ayer le pregunteesta pregunta general Sobre los decimales y sus precisiones internas. Aquí hay una pregunta específica sobre el escenario que estoy tratando ...
Octava GNU, redondea un número a unidades de precisión
En la versión 3.4.3 de GNU Octave, quiero redondear una matriz a 2 unidades de precisión en el contenido de una matriz como esta.