Resultados de la búsqueda a petición "precision"
BigDecimal, precisión y escala
Estoy usando BigDecimal para mis números en mi aplicación, por ejemplo, con JPA. Investigué un poco sobre los términos 'precisión' y 'escala' pero no entiendo cuáles son exactamente. ¿Alguien puede explicarme el significado de 'precisión' y ...
Matlab vs C ++ doble precisión
Estoy portando algún código de Matlab a C ++. En matlab format long D = 0.689655172413793 (this is 1.0 / 1.45) E = 2600 / D // I get E = 3.770000000000e+03En C ++ double D = 0.68965517241379315; //(this is 1.0 / 1.45) double E = 2600 / D; ...
Golang convierte float64 en error int
¿Cómo puedo evitar errores de coma flotante al convertir float's a int's? Por ejemplo, se imprime el siguiente código:0.5499999999999972 cuando termine espero que se imprima0.55. package main import "fmt" func main() { x := 100.55 fmt.Println(x ...
¿Por qué 5/2 da como resultado '2' incluso cuando uso un flotador? [duplicar
Esta pregunta ya tiene una respuesta aquí: Cuál es el comportamiento de la división de enteros? [/questions/3602827/what-is-the-behavior-of-integer-division] 5 respuestas Ingresé el siguiente código (y no tuve problemas de compilación ni ...
PHP - Precisión de número flotante [duplicado]
Esta pregunta ya tiene una respuesta aquí: Las matemáticas de punto flotante están rota [/questions/588004/is-floating-point-math-broken] 28 respuestas$a = '35'; $b = '-34.99'; echo ($a + $b);Resultados en 0.009999999999998 ¿Qué pasa con eso? ...
¿Cuál es la mejor biblioteca de precisión arbitraria (para velocidad) para C ++? [duplicar
Esta pregunta ya tiene una respuesta aquí: La mejor biblioteca matemática de precisión arbitraria multiplataforma (portátil) [cerrada] [/questions/2568446/the-best-cross-platform-portable-arbitrary-precision-math-library] 5 respuestas Necesito ...
Obtener precisión doble en fortran 90 utilizando el compilador Intel 11.1
Tengo un código muy grande que configura y resuelve iterativamente un sistema de ecuación diferencial parcial no lineal, escrito en fortran. Necesito que todas las variables sean de doble precisión. En el módulo adicional que he escrito para el ...
SQL Server trunca los puntos decimales de un campo recién creado en una vista
Tengo una vista en el servidor SQL, algo como esto: select 6.71/3.41 as NewNumberEl resultado es1.967741 (nota 6 puntos decimales) ->decimal (38,6) Intento lo mismo en una calculadora, pero el resultado es1.967741935483871xxxx Quiero ...
¿Puede C # almacenar datos más precisos que los dobles?
double en C # no tiene suficiente precisión para mis necesidades. Estoy escribiendo un programa fractal, y después de acercarme varias veces me quedo sin precisión. ¿Hay un tipo de datos que puede contener información de punto flotante ...
¿Cómo imprimo un valor doble con total precisión usando cout?
Así que obtuve la respuesta a miúltima pregunt [https://stackoverflow.com/questions/553974/why-does-int55-54-in-c] (No sé por qué no pensé en eso). Estaba imprimiendo undouble utilizandocout que se redondeó cuando no lo esperaba. ¿Cómo puedo ...