Это правильное использование встроенной хэш-функции Python?
Мне нужно сравнить большие порции данных на равенство, и мне нужно сравнить много в секунду,быстрый, Каждый объект гарантированно имеет одинаковый размер, и возможно / вероятно, что они могут быть лишь незначительно различными (в неизвестных позициях).
Я видел из интерактивного сеанса ниже, используя==
Оператор для байтовых строк может быть медленнее, если различия находятся в конце строки, и может быть очень быстрым, если есть разница в начале.
Я подумал, что может быть какой-то способ ускорить процесс с использованием некоторого хэша, конечно, вычисление хеша md5 и сравнение намного медленнее, но встроенный хэш python, похоже, значительно ускоряет процесс.
Тем не менее, я понятия не имею о деталях реализации этого хеша, действительно ли он похож на хеш, потому что мне может быть удобно, когдаhash(a) == hash(b)
тогдаa == b
очень вероятно? Я рад получить несколько неверных результатов, если столкновение хеш-функции является достаточно редким (редким в смысле необходимостимассив из 200 PS3s несколько часов, чтобы сделать столкновение)
In [1]: import hashlib
In [2]: with open('/dev/urandom') as f:
...: spam = f.read(2**20 - 1)
...:
In [3]: spamA = spam + 'A'
In [4]: Aspam = 'A' + spam
In [5]: spamB = spam + 'B'
In [6]: timeit spamA == spamB
1000 loops, best of 3: 1.59 ms per loop
In [7]: timeit spamA == Aspam
10000000 loops, best of 3: 66.4 ns per loop
In [8]: timeit hashlib.md5(spamA) == hashlib.md5(spamB)
100 loops, best of 3: 4.42 ms per loop
In [9]: timeit hashlib.md5(spamA) == hashlib.md5(Aspam)
100 loops, best of 3: 4.39 ms per loop
In [10]: timeit hash(spamA) == hash(spamB)
10000000 loops, best of 3: 157 ns per loop
In [11]: timeit hash(spamA) == hash(Aspam)
10000000 loops, best of 3: 160 ns per loop