Resultados da pesquisa a pedido "precision"
BigDecimal, precisão e escala
Estou usando BigDecimal para meus números no meu aplicativo, por exemplo, com JPA. Pesquisei um pouco sobre os termos 'precisão' e 'escala', mas não entendo exatamente o que eles são. Alguém pode me explicar o significado de 'precisão' e ...
Usando a função math.isclose com valores próximos a 0
Como sabemos, devido à representação binária de números, essa expressão é avaliada comoFalse (pelo menos em Python): 0.2 + 0.4 == 0.6Para poder verificar a igualdade nos erros numéricos, o módulomath ofertasisclose: import math math.isclose(0.2 ...
Como quadruplicar um número não assinado usando operador lógico e bit a bit em C
Objetivo: 4x ( 4.400000095 ) = 17.60000038 Operações legais: qualquer operação inteira / não assinada, incl. ||, &&. também se, enquantoNúmero máximo de operações: 30Retorne o equivalente em nível de bit da expressão x + x + x + x ...
Definir precisão com fstream para o arquivo de saída - formato duplo
Não consigo encontrar uma resposta sobre como usar um fstream já aberto para gerar dobras formatadas em um arquivo de texto. Atualmente, meu código está fazendo isso: int writeToFile (fstream& f, product_record& p) { if (!f){ cout << "out ...
Como esses valores de precisão dupla são precisos com 20 decimais?
Estou testando alguns erros de equivalência muito simples quando a precisão é um problema e esperava executar as operações com precisão dupla estendida (para que eu soubesse qual seria a resposta em ~ 19 dígitos) e, em seguida, execute as mesmas ...
quantos números inteiros no IEEE 754
Estou tentando descobrir quantos números inteiros diferentes existem no ieee 754. O número que obtive foi 1778384895, mas não consegui encontrar nenhum recurso para me verificar. Muito obrigado antecipadamente.
O numpy.sum é implementado de forma a evitar erros numéricos?
É sabido que somar números pode resultar em erros numéricos (por exemplo, se o primeiro número for realmente grande, enquanto houver muitos outros números pequenos). Isso pode ser resolvido somando os números de maneira não direta. Veja ...
MongoDB: Como obter precisão de N decimais em uma consulta
Dados os seguintes documentos em uma coleção do MongoDB ... { "_id": 1, "amount": { "value": 1.123456789999, "rate": 1.2 }} { "_id": 2, "amount": { "value": 2.9844, "rate": 1.2 }} { "_id": 3, "amount": { "value": 1.123876, "rate": 1.2 }} { ...
Como você converte para half floats em JavaScript?
Eu quero poder usar oOES_texture_half_float extensão no WebGL e fornecer meus próprios dados, mas não háFloat16Array em JavaScript. Então, como eu gero dados de meio flutuador?
A gravação IEEE 754-1985 é dupla como ASCII em uma sequência limitada de 16 bytes
Este é um acompanhamento para o meupostagem original [https://stackoverflow.com/questions/32629084/best-ieee-754-1985-representation-for-x3-9-1978-based-standard] . Mas vou repetir para maior clareza: Conforme o padrão DICOM, um tipo de ponto ...