Resultados da pesquisa a pedido "floating-point-precision"
Precisão de repr (f), str (f), impressão (f) quando f é flutuante
Se eu correr: >>> import math >>> print(math.pi) 3.141592653589793Em seguida, pi é impresso com 16 dígitos, No entanto, de acordo com: >>> import sys >>> sys.float_info.dig 15Minha precisão é de 15 dígitos. Portanto, devo confiar no último ...
A conversão de Int para Float perde precisão para grandes números no Swift
XCode 6.3.1 Swift 1.2 let value: Int = 220904525 let intmax = Int.max let float = Float(value) // Here is an error probably let intFromFloat = Int(float) let double = Double(value) println("intmax=\(intmax) value=\(value) ...
A precisão do ponto flutuante é mutável ou invariável?
Continuo recebendo respostas contraditórias sobre se os números de ponto flutuante (ou seja,float, doubleoulong double) têm um e apenas um valor de precisão ou um valor de precisão que pode variar. Um tópico chamadoflutuador vs. precisão ...
A precisão dos dígitos decimais mais significativos é que pode ser convertida em binária e de volta em decimal sem perda de significância 6 ou 7.225?
Encontrei duas fórmulas de precisão diferentes para números de ponto flutuante. ⌊ (N-1) log10(2) ⌋ = 6 dígitos decimais(Precisão única) e N log10(2) ≈ 7.225 dígitos decimais(Precisão única) OndeN = 24Bits significativos (Precisão única) A ...
Representação binária exata de um duplo [duplicado]
Possible Duplicate: Flutuar para binário em C ++ [https://stackoverflow.com/questions/2746380/float-to-binary-in-c] Eu tenho uma var dupla muito pequena e, quando a imprimo, recebo -0. (usando C ++). Agora, para obter melhor precisão, tentei ...
Trata-se de uma comparação flutuante válida que representa um número definido de casas decimai
Estou escrevendo um método de extensão para comparar dois carros alegóricos usando um número definido de pontos decimais (números significativos) para determinar se são iguais em vez de uma diferença de tolerância ou porcentagem. Examinando as ...
Defina a precisão específica de um BigDecimal
Eu tenho um XSD [https://en.wikipedia.org/wiki/XSD] que requer que eu use um BigDecimal para um lat / lon. Atualmente, tenho o lat / lon como dobra e os converto em BigDecimal, mas só preciso usar cerca de 12 locais de precisão. Não consegui ...