Resultados da pesquisa a pedido "precision"
Como vejo os tempos de consulta de alta precisão na linha de comando do mysql?
Estou trabalhando em algum trabalho de otimização e notei que em alguns despejos do mysql as pessoas postam artigos e perguntas (que não consigo encontrar novamente agora que estou procurando), há tempos de execução de alta precisão (0,05985215 ...
Ponto flutuante de meia precisão em Java
Existe uma biblioteca Java em qualquer lugar que possa executar cálculos emeia precisão @IEEE 754 [http://en.wikipedia.org/wiki/Half_precision_floating-point_format] números ou converta-os para e de precisão dupla? Qualquer uma dessas ...
possível remover erros de ponto flutuante sem recorrer a tipos de dados de precisão arbitrári
u estava pensando se, sob condições específicas, é possível remover erros de ponto flutuante sem recorrer a tipos de dados de precisão arbitrári O problema é o habitual. O idioma é Ruby, mas é válido em qualquer idioma: f = 1829.82 => 1829.82 ...
alores duplos de precisão flutuante em Pytho
xistem tipos de dados com melhor precisão do que floa
C # Converter objeto em decimal
Estou tentando converter um objeto com o valor0.39999999999999997 para uma variável decimal sem perder a precisã object d = 0.39999999999999997; Eu tentei os seguintes método decimal val1 = Convert.ToDecimal(d); // val1 = 0.4 object val2 ...
Por que 24.0000 não é igual a 24.0000 em MATLAB?
Estou escrevendo um programa em que preciso excluir pontos duplicados armazenados em uma matriz. O problema é que, quando se trata de verificar se esses pontos estão na matriz, o MATLAB não pode reconhecê-los na matriz, embora exista No código ...
Perda inesperada de precisão ao dividir duplos
Eu tenho uma função getSlope que leva como parâmetros 4 dobra e retorna outra dupla calculada usando esses parâmetros da seguinte maneira: double QSweep::getSlope(double a, double b, double c, double d){ double slope; slope=(d-b)/(c-a); return ...
Por que não consigo obter um valor p menor que 2,2e-16?
Encontrei esse problema com testes t e qui-quadrado em R, mas presumo que esse problema se aplique geralmente a outros testes. Se eu fizer a <- 1:10 b <- 100:110 t.test(a,b)Eu recebo:t = -64.6472, df = 18.998, p-value < 2.2e-16. Eu sei pelos ...
Remover Mais de 2 Trailing zero
Eu li muitas perguntas no estouro de pilha, o que eu quero é remover 2 ou mais de dois zero à direita atrás do decimal. ou seja: 12.00 ==> 12 12.30 ==> 12.30 12.35 ==> 12.35 12.345678 ==> 12.34
Assegurar C ++ duplos são 64 bits
No meu programa C ++, preciso extrair um float de 64 bits de uma sequência de bytes externa. Existe alguma maneira de garantir, em tempo de compilação, que as duplas sejam de 64 bits? Existe algum outro tipo que devo usar para armazenar ...