Результаты поиска по запросу "precision"
Вот
могу реализовать четырехкратную точность (128-битную арифметику) в MATLAB при решении задачи о собственных значениях матрицы? Я пытаюсь решить задачу анализа линейной устойчивости для несжимаемого плоского потока Куэтта, и 64-битной точности по ...
Округление с плавающей точкой. Он пытается сказать 2.01, но не может выразить его в точности как число с плавающей запятой, поэтому он делает все возможное.
у так? >>> max(2, 2.01) 2.0099999999999998
Для меня это распечатка результатов типа "2 строки в наборе (0.00000000 сек)". Но SHOW PROFILES говорит, что это занимает около миллисекунды. Поэтому я подозреваю, что исходные данные, которые подают данные, недостаточно высокого разрешения, чтобы это могло помочь.
отаю над оптимизацией и заметил, что в некоторых дампах mysql, которые люди публикуют в статьях и вопросах (которые я не могу найти сейчас, когда я на самом деле смотрю), существуют высокоточные времена выполнения (0.05985215 сек. вместо 0,06 ...
Арифметическая ошибка с плавающей точкой
Я использую следующую функцию, чтобы приблизить производную функции в точке: def prime_x(f, x, h): if not f(x+h) == f(x) and not h == 0.0: return (f(x+h) - f(x)) / h else: raise PrecisionErrorВ качестве теста я прохожуf какfx а такжеx как 3.0. ...
Нет. Помимо того факта, что double является двоичным и, следовательно, не подходит для десятичных значений, double имеет максимум 15/16 десятичных цифр (53 бита). десятичное число имеет максимум 28/29 цифр (96 бит), поэтому было бы хорошо использовать его. Если у вас более высокая точность в базе данных, вам нужен собственный класс bignum для C #, ищите реализации в stackoverflow.
. У меня есть двойной (который я извлек из базы данных), который имеет точность 20 цифр. В Visual Studio (с использованием QuickWatch) я вижу значение двойного = 0.00034101243963859839. Я хочу отобразить это значение в текстовом поле, а затем ...
А для субнормальных тестов:
ли где-нибудь библиотека Java, которая может выполнять вычисления наIEEE 754 с половинной точностью [http://en.wikipedia.org/wiki/Half_precision_floating-point_format]числа или преобразовать их в и из двойной точности? Любой из этих подходов ...
Как сохранить точность для программы Fortran MPI портативным способом?
У меня есть программа на Фортране, где я указываюkind числовых типов данных в попытке сохранить минимальный уровень точности, независимо от того, какой компилятор используется для сборки программы. Например: integer, parameter :: rsp = ...
Получить точность cout
Я могу установить точностьcout вывод с использованием cout.precision(precision_value);как я могуполучить значение точности, которое используетсяcout уже? Я не могу найти другую связанную функцию вcout ...
: Не все переопределения методов работают, по крайней мере, в 1.9.3p0:
ыло интересно, можно ли при определенных условиях удалять ошибки с плавающей запятой, не прибегая к типам данных произвольной точности. Проблема обычная. Язык Ruby, но он поддерживается на любом языке: f = 1829.82 => 1829.82 f / 12.0 => 152.485 ...