Resultados da pesquisa a pedido "precision"
Qual é a melhor (para velocidade) biblioteca de precisão arbitrária para C ++? [duplicado
Esta pergunta já tem uma resposta aqui: melhor biblioteca de matemática de precisão arbitrária para várias plataformas (portátil) [fechada] [/questions/2568446/the-best-cross-platform-portable-arbitrary-precision-math-library] 5 respostas ...
Obtendo precisão dupla no fortran 90 usando o compilador intel 11.1
Eu tenho um código muito grande que configura e resolve iterativamente um sistema de equação diferencial parcial não linear, escrita em fortran. Eu preciso que todas as variáveis sejam de precisão dupla. No módulo adicional que escrevi para o ...
@SQL Server trunca pontos decimais de um campo recém-criado em uma view
Eu tenho uma visão no SQL server, algo como isto: select 6.71/3.41 as NewNumberO resultado é1.967741 (nota 6 casas decimais) ->decimal (38,6) Eu tento a mesma coisa em uma calculadora, mas o resultado é1.967741935483871xxxx Quero forçar o ...
C # pode armazenar dados mais precisos do que o dobr
double em C # não possuem precisão suficiente para minhas necessidades. Estou escrevendo um programa fractal e, depois de ampliar algumas vezes, fico sem precisã Existe um tipo de dados que pode conter informações mais precisas de ...
Como imprimir um valor duplo com precisão total usando cout?
Então eu recebi a resposta para o meuultima questã [https://stackoverflow.com/questions/553974/why-does-int55-54-in-c] (Não sei por que não pensei nisso). Eu estava imprimindo umdouble usandocout que foi arredondado quando eu não esperava. Como ...
MATLAB precision
Como implementar a precisão quádrupla (aritmética de 128 bits) no MATLAB enquanto resolvo um problema de autovalor da matri Estou tentando resolver um problema de análise de estabilidade linear para o fluxo Couette de plano incompressível e a ...
Descompactando flutuadores de meia precisão em Javascript
Estou tentando ler um arquivo binário com javascript que contém muitos números de ponto flutuante de 16 bits. Bastante certo que é padrão IEEE, pouco endian. É bem simples ler os dois bytes em um int, mas a partir daí não tenho muito sucesso em ...
Precisão de ponto flutuante ao usar max () @ do Pyth
Por quê >>> max(2, 2.01) 2.0099999999999998
javascript rodada inteira grande porque precisão? (porque?
se você digitar 78764357878563812 no chrome ou no safari, obterá Se você fize for(var i = 0; i < 30; i++){console.log(i + " == " + 78764357878563800 + " ? ");console.log((78764357878563790+i) == 78764357878563800);} Você começa a comparar ...
Converter float para dobrar perde precisão, mas não via ToString
Eu tenho o seguinte código float f = 0.3f; double d1 = System.Convert.ToDouble(f); double d2 = System.Convert.ToDouble(f.ToString());Os resultados são equivalentes a: d1 = 0.30000001192092896; d2 = 0.3; Estou curioso para descobrir por que isso é?