Результаты поиска по запросу "precision"

5 ответов

Точность Matlab: простое вычитание не равно нулю

Я вычисляю эту простую сумму на Matlab: 2*0.04-0.5*0.4^2 = -1.387778780781446e-017но результат не ноль. Что я могу сделать?

6 ответов

fopen / fopen_s и запись в файлы

6 ответов

Сколько двойных чисел существует между 0,0 и 1,0?

Это то, о чем я думал в течение многих лет, но у меня никогда не было времени, чтобы спросить раньше.Многие (псевдо) генераторы случайных чисел генерируют сл...

ТОП публикаций

6 ответов

Определить точность и масштаб определенного числа в Python

У меня есть переменная в Python, содержащая число с плавающей запятой (например,

6 ответов

Matlab использует математику с плавающей точкой с точностью до 16 цифр (отображается только 5).

у программу, в которой мне нужно удалить дублирующиеся точки, хранящиеся в матрице. Проблема состоит в том, что когда дело доходит до проверки, находятся ли эти точки в матрице, MATLAB не может распознать их в матрице, хотя они существуют. В ...

6 ответов

Недавно была такая же проблема. Сотрудник-статистик рекомендует:

ел эту проблему с t-тестами и хи-квадрат в R, но я предполагаю, что эта проблема в целом относится к другим тестам. Если я сделаю: a <- 1:10 b <- 100:110 t.test(a,b)Я получил:t = -64.6472, df = 18.998, p-value < 2.2e-16, Я знаю из комментариев, ...

6 ответов

Есть ли надежный способ в JavaScript получить количество десятичных разрядов произвольного числа?

Важно отметить, что я не ищу функцию округления. Я ищу функцию, которая возвращает количество десятичных знаков в упрощенном десятичном представлении произвольного числа. То есть имеем следующее: decimalPlaces(5555.0); //=> 0 ...

6 ответов

Какова максимальная точность таймера в .NET?

Мне интересно, какова точность класса Timer в System.Timers, потому что он удваивается (что может указывать на то, что у вас могут быть доли миллисекунд). Что это такое?

7 ответов

Регулировка десятичной точности, .net

Эти строки в C #

7 ответов

десятичный против двойного! - Какой я должен использовать и когда? [Дубликат]

This question already has an answer here: When should I use double instead of decimal? 12 answ...