Resultados da pesquisa a pedido "precision"
Usando a função math.isclose com valores próximos a 0
Como sabemos, devido à representação binária de números, essa expressão é avaliada comoFalse (pelo menos em Python): 0.2 + 0.4 == 0.6Para poder verificar a igualdade nos erros numéricos, o módulomath ofertasisclose: import math math.isclose(0.2 ...
BigDecimal, precisão e escala
Estou usando BigDecimal para meus números no meu aplicativo, por exemplo, com JPA. Pesquisei um pouco sobre os termos 'precisão' e 'escala', mas não entendo exatamente o que eles são. Alguém pode me explicar o significado de 'precisão' e ...
Matlab vs C ++ Double Precision
Estou portando algum código do Matlab para C ++. Na Matlab format long D = 0.689655172413793 (this is 1.0 / 1.45) E = 2600 / D // I get E = 3.770000000000e+03Em C ++ double D = 0.68965517241379315; //(this is 1.0 / 1.45) double E = 2600 / D; ...
Golang convertendo float64 em erro int
Como evitar erros de ponto flutuante ao converter float em int. Por exemplo, o código a seguir é impresso:0.5499999999999972 quando acabo, espero que imprima0.55. package main import "fmt" func main() { x := 100.55 fmt.Println(x ...
Como determinar a precisão máxima para o dobro
Estou tentando determinar qual é a precisão máxima para um duplo. Nos comentários da resposta aceita neste linkMantenha a precisão com o dobro em Java [https://stackoverflow.com/questions/322749/retain-precision-with-double-in-java] @PeterLawrey ...
Existe alguma biblioteca padrão para converter float64 em string com largura de correção com número máximo de dígitos significativos?
Imagine para imprimir em uma tabela de 12 larguras fixas que precisamos imprimirfloat64 números: fmt.Printf("%12.6g\n", 9.405090880450127e+119) //"9.40509e+119" fmt.Printf("%12.6g\n", 0.1234567890123) //" 0.123457" ...
Existe uma maneira de obter os "números significativos" de um decimal?
AtualizarOK, depois de alguma investigação, e em grande parte graças às respostas úteis fornecidas por Jon e Hans, foi isso que consegui reunir. Até agora, acho que parece funcionar bem. Eu não apostaria minha vida em sua total correção, é ...
Precisão aritmética com dobras no Matlab
Estou com problemas para entender como a precisão dessas dobras afeta o resultado das operações aritméticas no Matlab. Eu pensei que, como os dois a & b são duplos, eles seriam capazes de realizar operações com essa precisão. Sei que pode haver ...
Por que 5/2 resulta em '2' mesmo quando uso um flutuador? [duplicado
Esta pergunta já tem uma resposta aqui: Qual é o comportamento da divisão inteira? [/questions/3602827/what-is-the-behavior-of-integer-division] 5 respostas Digitei o código a seguir (e não tive problemas de compilação nem nada): float y = ...
PHP - Precisão numérica flutuante [duplicado]
Esta pergunta já tem uma resposta aqui: A matemática do ponto flutuante está quebrada? [/questions/588004/is-floating-point-math-broken] 28 respostas$a = '35'; $b = '-34.99'; echo ($a + $b);Resultados em 0.009999999999998 O que há com isso? Eu ...