Resultados da pesquisa a pedido "precision"
Precisão decimal do MySQL e do PHP
24151.40 - 31891.10 = -7739.699999999997Eu pego esses dois números de uma tabela MySQL com o tipo decimal (14,2) 24151.40 31891.10 Ele é salvo exatamente com...
Como calcular dígitos decimais de precisão com base no número de bits?
Estou aprendendo sobre formatos de ponto flutuante (IEEE). No formato de ponto flutuante de precisão única, menciona-se que a mantissa tem 24 bits e, portant...
Precisão BigDecimal não persistente com anotações JPA
Estou usando a API javax.persistence e o Hibernate para criar anotações e persistir entidades e seus atributos em um banco de dados Oracle 11g Express.Eu ten...
diferenças de precisão em matlab e c ++
Eu estou tentando fazer testes de equivalência em um algoritmo escrito em C ++ e no Matlab. O algoritmo contém algum tipo de loop no tempo e é executado mais...
Precisão de ponto flutuante OpenCL
Eu encontrei um problema com o padrão flutuante host - cliente no OpenCL. O problema é que os pontos flutuantes calculados pelo Opencl não estão nos mesmos l...
formatação decimal sem arredondar .net
Ontem eu pergunteiesta questão geral sobre decimais e suas precisões internas. Aqui está uma pergunta específica sobre o cenário que estou tentando abordar.E...