Resultados da pesquisa a pedido "precision"
As diferenças na precisão dos cálculos nos modos single / multi-threaded (OpenMP)
Alguém pode explicar / entender os diferentes resultados do cálculo no modo single / multi-thread? Aqui está um exemplo de aprox. cálculo de pi: #include <iomanip> #include <cmath> #include <ppl.h> const int itera(1000000000); int main() { ...
precisão dupla longa x86-64
Qual é a precisão real do long double nas plataformas Intel de 64 bits? são 80 bits acolchoados a 128 ou 128 bits reais? se antigo, além de usar o gmp, existe outra opção para alcançar a verdadeira precisão 128?
Como você arredonda um dobro no Dart para um determinado grau de precisão APÓS o ponto decimal?
Dado um dobro, quero arredondá-lo para um determinado número de pontos de precisãoapós o ponto decimal, semelhante à função round () do PHP. A coisa mais próxima que posso encontrar nos documentos do Dart é double.toStringAsPrecision (), mas ...
Qual é a biblioteca padrão (ou melhor suportada) de número grande (precisão arbitrária) para Lua?
Estou trabalhando com grandes números que não posso ter arredondado. Usando a biblioteca matemática padrão de Lua, parece não haver uma maneira conveniente de preservar a precisão além de algum limite interno. Também vejo que existem várias ...
Precisão de ponto flutuante C ++ [duplicado]
Possível duplicado: Exemplos de imprecisão de ponto flutuante [https://stackoverflow.com/questions/2100490/floating-point-inaccuracy-examples] double a = 0.3; std::cout.precision(20); std::cout << a << ...
Aritmética de ponto flutuante - operador de módulo no tipo duplo
Então, eu estou tentando descobrir por que o operador do módulo está retornando um valor incomum tão grande. Se eu tiver o código: double result = 1.0d % 0.1d; vai dar um resultado de0.09999999999999995. Eu esperaria um valor de0 Observe que ...
Quantos números duplos existem entre 0,0 e 1,0?
Isso é algo que me ocorre há anos, mas nunca tive tempo para perguntar antes. Muitos geradores de números aleatórios (pseudo) geram um número aleatório entre 0,0 e 1,0. Matematicamente, existem números infinitos nesse intervalo, masdouble é um ...
Determinar a precisão e a escala de um número específico no Python
Eu tenho uma variável em Python que contém um número de ponto flutuante (por exemplo,num = 24654.123) e gostaria de determinar os valores de precisão e escala do número (no sentido Oracle), para que 123.45678 me dê (8,5), 12,76 me dê (4,2) ...
O que exatamente é o parâmetro de “resolução” do numpy float
Estou buscando um pouco mais de entendimento sobre o parâmetro "resolution" de um float numpy (acho que qualquer float definido por computador para esse assunto). Considere o seguinte script: import numpy as np a = np.finfo(10.1) print aRecebo ...
Como você converte para half floats em JavaScript?
Eu quero poder usar oOES_texture_half_float extensão no WebGL e fornecer meus próprios dados, mas não háFloat16Array em JavaScript. Então, como eu gero dados de meio flutuador?