Результаты поиска по запросу "precision"
Точность Matlab: простое вычитание не равно нулю
Я вычисляю эту простую сумму на Matlab: 2*0.04-0.5*0.4^2 = -1.387778780781446e-017но результат не ноль. Что я могу сделать?
Сколько двойных чисел существует между 0,0 и 1,0?
Это то, о чем я думал в течение многих лет, но у меня никогда не было времени, чтобы спросить раньше.Многие (псевдо) генераторы случайных чисел генерируют сл...
Определить точность и масштаб определенного числа в Python
У меня есть переменная в Python, содержащая число с плавающей запятой (например,
Matlab использует математику с плавающей точкой с точностью до 16 цифр (отображается только 5).
у программу, в которой мне нужно удалить дублирующиеся точки, хранящиеся в матрице. Проблема состоит в том, что когда дело доходит до проверки, находятся ли эти точки в матрице, MATLAB не может распознать их в матрице, хотя они существуют. В ...
Недавно была такая же проблема. Сотрудник-статистик рекомендует:
ел эту проблему с t-тестами и хи-квадрат в R, но я предполагаю, что эта проблема в целом относится к другим тестам. Если я сделаю: a <- 1:10 b <- 100:110 t.test(a,b)Я получил:t = -64.6472, df = 18.998, p-value < 2.2e-16, Я знаю из комментариев, ...
Есть ли надежный способ в JavaScript получить количество десятичных разрядов произвольного числа?
Важно отметить, что я не ищу функцию округления. Я ищу функцию, которая возвращает количество десятичных знаков в упрощенном десятичном представлении произвольного числа. То есть имеем следующее: decimalPlaces(5555.0); //=> 0 ...
Какова максимальная точность таймера в .NET?
Мне интересно, какова точность класса Timer в System.Timers, потому что он удваивается (что может указывать на то, что у вас могут быть доли миллисекунд). Что это такое?
Регулировка десятичной точности, .net
Эти строки в C #