Resultados da pesquisa a pedido "precision"
Por que 'Infinito' não é permitido nos carros alegóricos de Erlang?
Erlang (e por extensão Elixir) suporta números de ponto flutuante. Alguns carros alegóricos possíveis: 1.23451.0e101.0e-42Erlang suporta NaN (nan. em Erlang) (ainda estou para descobrir um método que geranan próprio). No entanto, Erlang não ...
Loucura de precisão de servidor SQL
Estou tendo um problema com a precisão do servidor sql. Eu tenho as seguintes consultas: DECLARE @A numeric(30,10) DECLARE @B numeric(30,10) SET @A = 20.225 SET @B = 53.3875 SELECT @A * @B DECLARE @A1 numeric(30,14) DECLARE @B1 numeric(30,14) ...
No MATLAB, as variáveis são REALMENTE de precisão dupla por padrão?
Essa questão surgiu de algo estranho que eu notei depois de investigaressa questão [https://stackoverflow.com/q/4222257/52738]mais distante... Eu sempre entendi as variáveis MATLAB comodupla ...
Aritmética de alta precisão em Python e / ou C / C ++?
Resumo: Qual pacote Python ou C-Library é a melhor opção para operações aritméticas de precisão muito alta? Eu tenho algumas funções que convertem dias fracionários (0.0-0.99999..) para um formato legível por humanos (horas, minutos, segundos; ...
javascript rodada inteira grande porque precisão? (porque?
se você digitar 78764357878563812 no chrome ou no safari, obterá Se você fize for(var i = 0; i < 30; i++){console.log(i + " == " + 78764357878563800 + " ? ");console.log((78764357878563790+i) == 78764357878563800);} Você começa a comparar ...
Precisão decimal do MySQL e do PHP
24151.40 - 31891.10 = -7739.699999999997Eu pego esses dois números de uma tabela MySQL com o tipo decimal (14,2) 24151.40 31891.10 Ele é salvo exatamente com...
diferenças de precisão em matlab e c ++
Eu estou tentando fazer testes de equivalência em um algoritmo escrito em C ++ e no Matlab. O algoritmo contém algum tipo de loop no tempo e é executado mais...
formatação decimal sem arredondar .net
Ontem eu pergunteiesta questão geral sobre decimais e suas precisões internas. Aqui está uma pergunta específica sobre o cenário que estou tentando abordar.E...
GNU Octave, arredondando um número para a precisão das unidades
No GNU Octave versão 3.4.3 eu quero arredondar uma matriz para 2 unidades de precisão no conteúdo de uma matriz como esta.