Результаты поиска по запросу "precision"
Просто остерегайтесь предостережения о том, что сохраненное значение может не остаться прежним, если оно будет загружено на другую архитектуру
исал несколько параметров (все типаdouble) в файл для использования при выполнении некоторых сложных вычислений. Я записываю параметры в файлы примерно так: refStatsOut << "SomeParam:" << value_of_type_double << endl; гдеrefStatsOut ...
Спасибо Свен за редактирование
аюсь преобразовать объект со значением0.39999999999999997 до десятичной переменной без потери точности. object d = 0.39999999999999997;Я пробовал следующие методы. decimal val1 = Convert.ToDecimal(d); // val1 = 0.4 object val2 ...
Matlab использует математику с плавающей точкой с точностью до 16 цифр (отображается только 5).
у программу, в которой мне нужно удалить дублирующиеся точки, хранящиеся в матрице. Проблема состоит в том, что когда дело доходит до проверки, находятся ли эти точки в матрице, MATLAB не может распознать их в матрице, хотя они существуют. В ...
Установить точность для числа с плавающей точкой в PHP
Я получаю номер из базы данных, и этот номер может быть либоfloat или жеint. Мне нужно установить десятичную точность числа3что делает число не длиннее (относительно десятичных дробей)5.020 или же1518845.756. Используя PHP round($number, ...
Недавно была такая же проблема. Сотрудник-статистик рекомендует:
ел эту проблему с t-тестами и хи-квадрат в R, но я предполагаю, что эта проблема в целом относится к другим тестам. Если я сделаю: a <- 1:10 b <- 100:110 t.test(a,b)Я получил:t = -64.6472, df = 18.998, p-value < 2.2e-16, Я знаю из комментариев, ...
Установите точность отображения поплавка в Ruby
Можно ли установить точность отображения поплавка в Ruby? Что-то вроде: z = 1/3 z.to_s #=> 0.33333333333333 z.to_s(3) #=> 0.333 z.to_s(5) #=> 0.33333Или я должен переопределитьto_s методFloat?
Удалить больше чем 2 конечных нуля
Я прочитал много вопросов в переполнении стека, что я хочу, чтобы удалить 2 или более двух завершающих ноль за десятичной дробью. то есть: 12.00 ==> 12 12.30 ==> 12.30 12.35 ==> 12.35 12.345678 ==> 12.34
matlab и c отличаются функцией cos
У меня есть программа, реализованная в Matlab и та же программа в C, и результаты отличаются. Я немного озадачен тем, что функция cos не возвращает точно такой же результат. Я использую один и тот же компьютер, Intel Core 2 Duo и 8-байтовый ...
Исправление «сводки» в R с соответствующим количеством цифр точности
A просто вопрос попросто казалось бы, невинная функция:summary. Пока я не увидел результаты для Мин и Макса, которые выходили за пределы диапазона моих данных, я не знал, чтоsummary имеетdigits аргумент для указания точности результатов вывода. ...
Точность Matlab: простое вычитание не равно нулю
Я вычисляю эту простую сумму на Matlab: 2*0.04-0.5*0.4^2 = -1.387778780781446e-017но результат не ноль. Что я могу сделать?