Resultados da pesquisa a pedido "precision"

10 a resposta

Como gerar uma seqüência de n inteiros positivos aleatórios que somam algum valor?

3 a resposta

Precisão decimal do MySQL e do PHP

24151.40 - 31891.10 = -7739.699999999997Eu pego esses dois números de uma tabela MySQL com o tipo decimal (14,2) 24151.40 31891.10 Ele é salvo exatamente com...

1 a resposta

Como calcular dígitos decimais de precisão com base no número de bits?

Estou aprendendo sobre formatos de ponto flutuante (IEEE). No formato de ponto flutuante de precisão única, menciona-se que a mantissa tem 24 bits e, portant...

3 a resposta

O que significa “real * 8”?

7 a resposta

Preservando grandes números

2 a resposta

Precisão BigDecimal não persistente com anotações JPA

Estou usando a API javax.persistence e o Hibernate para criar anotações e persistir entidades e seus atributos em um banco de dados Oracle 11g Express.Eu ten...

3 a resposta

diferenças de precisão em matlab e c ++

Eu estou tentando fazer testes de equivalência em um algoritmo escrito em C ++ e no Matlab. O algoritmo contém algum tipo de loop no tempo e é executado mais...

2 a resposta

Precisão de ponto flutuante OpenCL

Eu encontrei um problema com o padrão flutuante host - cliente no OpenCL. O problema é que os pontos flutuantes calculados pelo Opencl não estão nos mesmos l...

7 a resposta

Ajustando precisão decimal, .net

3 a resposta

formatação decimal sem arredondar .net

Ontem eu pergunteiesta questão geral sobre decimais e suas precisões internas. Aqui está uma pergunta específica sobre o cenário que estou tentando abordar.E...