Resultados de la búsqueda a petición "precision"
"Nuevo BigDecimal (13.3D)" da como resultado impreciso "13.3000000000000007105 .."?
¿Cómo es que JavaBigDecimal puede ser tan doloroso? Double d = 13.3D; BigDecimal bd1 = new BigDecimal(d); BigDecimal bd2 = new BigDecimal(String.valueOf(d)); System.out.println("RESULT 1: "+bd1.toString()); System.out.println("RESULT 2: ...
¿Cuál es la mejor manera de resumir muchos números de coma flotante?
Imagine que tiene una gran variedad de números de coma flotante, de todo tipo de tamaños. ¿Cuál es la forma más correcta de calcular la suma, con el menor error? Por ejemplo, cuando la matriz se ve así: [1.0, 1e-10, 1e-10, ... 1e-10.0]y sumas de ...
¿Cuál es la biblioteca estándar (o mejor soportada) de gran número (precisión arbitraria) para Lua?
Estoy trabajando con grandes números que no puedo haber redondeado. Usando la biblioteca matemática estándar de Lua, parece que no hay una forma conveniente de preservar la precisión más allá de algún límite interno. También veo que hay varias ...