Я хотел бы обнаружить дубликаты файлов в дереве каталогов. При обнаружении двух идентичных файлов будет сохранен только один из дубликатов, а оставшиеся дубликаты будут удалены для экономии места на диске.

Дубликат означает файлы, имеющие одинаковое содержимое, которые могут отличаться по именам файлов и пути.

Я думал об использовании алгоритмов хеширования для этой цели, но есть вероятность, что разные файлы имеют одинаковые хеши, поэтому мне нужен какой-то дополнительный механизм, чтобы сказать мне, что файлы не совпадают, даже если хэши одинаковы, потому что я не не хочу удалять два разных файла.

Какой дополнительный быстрый и надежный механизм вы бы использовали?