Resultados da pesquisa a pedido "floating-accuracy"
melhoria da precisão da interseção de raios e elipsóides
Preciso aprimorar a precisão para a função em um dos meusShader de fragmento de dispersão atmosférica GLSL [https://stackoverflow.com/a/19659648/2521214]que calcula a interseção entre o raio único e o elipsóide alinhado ao eixo. Essa é a ...
Como o erro de ponto flutuante se propaga ao executar operações matemáticas em C ++?
Digamos que declaramos as seguintes variáveis float a = 1.2291; float b = 3.99; float variáveis têm precisão 6, o que (se bem entendi) significa que a diferença entre o número que o computador realmente armazena e o número real desejado ...
Resultado do casting duplo para int está errado
Parece haver algum tipo de erro de arredondamento obscuro quando executo o seguinte código:
Regras práticas para minimizar erros de ponto flutuante em C?
Em relação à minimização do erro nas operações de ponto flutuante, se eu tiver uma operação como a seguinte em C: float a = 123.456; float b = 456.789; float r = 0.12345; a = a - (r * b);O resultado do cálculo será alterado se eu dividir as ...
A precisão do ponto flutuante pode depender do segmento?
Eu tenho uma pequena classe de vetor 3D em C # 3.0 com base em struct que usa o dobro como unidade básica. Um exemplo: o valor y de um vetor é -20.0 straightSubtraio um vetor com um valor y de 10.094999999999965O valor para y que eu esperaria ...
O que exatamente é o parâmetro de “resolução” do numpy float
Estou buscando um pouco mais de entendimento sobre o parâmetro "resolution" de um float numpy (acho que qualquer float definido por computador para esse assunto). Considere o seguinte script: import numpy as np a = np.finfo(10.1) print aRecebo ...
Média de inconsistência de flutuação
O select retorna à direita em 23.000 linhas A exceção retornará entre 60 a 200 linhas (e não as mesmas linhas) A exceção deve retornar 0, pois é selecione a exceção selecione uma PK: [docSVenum1]. [EnumID], [docSVenum1]. [ValueID], ...
Precisão perdida ao usar read_csv em pandas
Eu tenho arquivos do formato abaixo em um arquivo de texto que estou tentando ler em um dataframe do pandas. 895|2015-4-23|19|10000|LA|0.4677978806|0.4773469340|0.4089938425|0.8224291972|0.8652525793|0.6829942860|0.5139162227| Como você pode ...
Posso usar pandas.dataframe.isin () com um parâmetro de tolerância numérica?
Revisei os posts a seguir com antecedência. Existe uma maneira de usar DataFrame.isin () com um fator de aproximação ou um valor de tolerância? Ou existe outro método que poderia? Filtrar linhas do quadro de dados se o valor na coluna estiver em ...
Ponto flutuante e menor que igual após adição e subtração
Existe uma "melhor prática" comparações menores que iguais com o número de ponto flutuante após uma série de operações aritméticas de ponto flutuante? Eu tenho o exemplo a seguir em R, embora a questão não se aplique apenas a R, mas a qualquer ...