Resultados de la búsqueda a petición "precision"
BigDecimal, precisión y escala
Estoy usando BigDecimal para mis números en mi aplicación, por ejemplo, con JPA. Investigué un poco sobre los términos 'precisión' y 'escala' pero no entiendo cuáles son exactamente. ¿Alguien puede explicarme el significado de 'precisión' y ...
Uso de la función math.isclose con valores cercanos a 0
Como sabemos, debido a la representación binaria de los números, esta expresión se evalúa comoFalse (al menos en Python): 0.2 + 0.4 == 0.6Para poder verificar la igualdad dentro de los errores numéricos, el módulomath ofertasisclose: import ...
Cómo cuadruplicar un número sin signo utilizando el operador lógico y en bits en C
Gol: 4x ( 4.400000095 ) = 17.60000038 Operaciones legales: cualquier operación entera / sin firmar incl. ||, &&. también si, mientrasMáx. De operaciones: 30Devuelve el nivel de bits equivalente de la expresión x + x + x + x paraargumento de ...
Establezca la precisión con fstream en el archivo de salida - formato doble
No puedo encontrar una respuesta sobre cómo podría usar un fstream ya abierto para generar dobles formateados en un archivo de texto. Actualmente mi código está haciendo esto: int writeToFile (fstream& f, product_record& p) { if (!f){ cout << ...
¿Cómo son estos valores de doble precisión precisos a 20 decimales?
Estoy probando algunos errores de equivalencia muy simples cuando la precisión es un problema y esperaba realizar las operaciones en precisión doble extendida (para saber cuál sería la respuesta en ~ 19 dígitos) y luego realizar las ...
cuantos números enteros hay en IEEE 754
Estoy tratando de averiguar cuántos números enteros existen en el ieee 754. El número que obtuve fue 1778384895, pero no pude encontrar ningún recurso para comprobarlo. Muchas gracias por adelantado.
¿Numpy.sum se implementa de tal manera que se evitan los errores numéricos?
Es bien sabido que sumar números puede generar errores numéricos (por ejemplo, si el primer número es realmente grande, mientras que hay muchos otros números pequeños). Esto se puede resolver sumando los números de una manera no directa. Ver ...
MongoDB: Cómo obtener precisión de N decimales en una consulta
Dados los siguientes documentos en una colección MongoDB ... { "_id": 1, "amount": { "value": 1.123456789999, "rate": 1.2 }} { "_id": 2, "amount": { "value": 2.9844, "rate": 1.2 }} { "_id": 3, "amount": { "value": 1.123876, "rate": 1.2 }} { ...
¿Cómo se convierte a medias carrozas en JavaScript?
Quiero poder usar elOES_texture_half_float extensión en WebGL y proporcionar mis propios datos pero no hayFloat16Array en JavaScript Entonces, ¿cómo genero datos de medio flotante?
Escribir IEEE 754-1985 doble como ASCII en una cadena limitada de 16 bytes
Este es un seguimiento de mipublicación original [https://stackoverflow.com/questions/32629084/best-ieee-754-1985-representation-for-x3-9-1978-based-standard] . Pero lo repetiré por claridad: Según el estándar DICOM, se puede almacenar un tipo ...