Resultados de la búsqueda a petición "floating-point-precision"
"GL_HALF_FLOAT" con renderizado OpenGL y GLSL
Estoy programando un renderizador OpenGL en C ++. Quiero que sea lo más eficiente posible y que cada vértice / normal / coord de texto UV / tangentes / etc. ocupe la menor cantidad de memoria posible. Estoy usando índices, franjas de línea y ...
Precisión de repr (f), str (f), print (f) cuando f es flotante
Si corro: >>> import math >>> print(math.pi) 3.141592653589793Luego pi se imprime con 16 dígitos, Sin embargo, de acuerdo con: >>> import sys >>> sys.float_info.dig 15Mi precisión es de 15 dígitos. Entonces, ¿debo confiar en el último dígito ...
Salida extraña cuando se usa flotador en lugar de doble
Salida extraña cuando usofloat en lugar dedouble #include <stdio.h> void main() { double p,p1,cost,cost1=30; for (p = 0.1; p < 10;p=p+0.1) { cost = 30-6*p+p*p; if (cost<cost1) { cost1=cost; p1=p; } else { break; } printf("%lf\t%lf\n",p,cost); } ...
La conversión de Int a Float pierde precisión para grandes números en Swift
XCode 6.3.1 Swift 1.2 let value: Int = 220904525 let intmax = Int.max let float = Float(value) // Here is an error probably let intFromFloat = Int(float) let double = Double(value) println("intmax=\(intmax) value=\(value) ...
¿La precisión de coma flotante es mutable o invariante?
Sigo recibiendo respuestas mixtas de si los números de coma flotante (es decir,float, doubleolong double) tienen uno y solo un valor de precisión, o tienen un valor de precisión que puede variar. Un tema llamadoflotante contra doble ...
¿Es la precisión de dígitos decimales más significativa que se puede convertir a binario y volver a decimal sin pérdida de significación 6 o 7.225?
Me he encontrado con dos fórmulas de precisión diferentes para números de punto flotante. ⌊ (N-1) registro10(2) ⌋ = 6 dígitos decimales(Precisión simple) y N log10(2) ≈ 7.225 dígitos decimales(Precisión simple) DóndeN = 24Bits significativos ...
Representación binaria exacta de un doble [duplicado]
Posible duplicado: Flotar a binario en C ++ [https://stackoverflow.com/questions/2746380/float-to-binary-in-c] Tengo una doble var muy pequeña, y cuando la imprimo obtengo -0. (usando C ++). Ahora, para obtener una mejor precisión, intenté ...
Es una comparación flotante válida que representa un número determinado de decimales?
Estoy escribiendo un método de extensión para comparar dos flotantes usando un número establecido de puntos decimales (cifras significativas) para determinar si son iguales en lugar de una tolerancia o una diferencia porcentual. Mirando a través ...
Establecer precisión específica de un BigDecimal
Yo tengo un XSD [https://en.wikipedia.org/wiki/XSD] que requiere que use un BigDecimal para un lat / lon. Actualmente tengo el lat / lon como dobles, y los convierto a BigDecimal, pero solo estoy obligado a usar unos 12 lugares de precisión. No ...