Результаты поиска по запросу "floating-accuracy"
c ++ fmod возвращает 0.2 для fmod (0.6,0.2)
когда я использую fmod (0.6,0.2) в c ++, он возвращает 0.2Я знаю, что это вызвано точностью с плавающей запятой, но мне кажется, что мне нужно получить остат...
Функция pow () в C согласно заголовочному файлу <math.h> не работает должным образом
Я вижу, что для следующего кода получается результат, как показано ниже, есть идеи о том, почему вывод такой?
Работа с плавающей точностью в Javascript [дубликаты]
На этот вопрос уже есть ответ: Как справиться с точностью чисел с плавающей точкой в JavaScript? [/questions/1458633/how-to-deal-with-floating-point-number-precision-in-javascript] 34 ответа У меня большое количество числовых значенийy в ...
Результат приведения double к int неверен
Кажется, есть какая-то неясная ошибка округления, когда я запускаю следующий код:
Точность C ++: строка удваивается
У меня возникла проблема с точностью до двойного после выполнения некоторых операций над преобразованной строкой в удвоение.
Потеря точности с плавающей запятой c ++: 3015 / 0.00025298219406977296
Эта проблема.Компилятор Microsoft Visual C ++ 2005, 32-разрядная версия Windows XP SP3, 64-разрядный процессор amd.Код:
SQL Server 2005 числовая потеря точности
Отладка некоторого связанного с финансами кода SQL обнаружила странную проблему с математической точностью (24,8).Запустив следующий запрос на вашем MSSQL, в...
Нахождение ближайшего значения с плавающей точкой меньше, чем конкретное целочисленное значение в C ++?
У меня есть входное значение с плавающей запятой, которое составляет 0,0f <= значение <1,0f (обратите внимание, меньше, чем один). При умножении этого значения на больший диапазон, естественно, точность с плавающей запятой уменьшается, что ...
Целочисленное возведение в степень в OCaml
Есть ли функция для целочисленного возведения в степень в OCaml? ** только для поплавков. Хотя это кажется в основном точным, разве нет возможности ошибок точности, что-то вроде 2. ** 3. = 8. иногда возвращает false? Есть ли библиотечная функция ...