У меня есть система, в которой загружаются видеофайлы, а затем запускается несколько задач с интенсивным использованием процессора. Поскольку эти задачи требуют больших вычислительных ресурсов, я бы хотел пропустить обработку файла, если он уже был обработан.

Видео поступают из разных источников, поэтому имена файлов и т. Д. Не подходят.

Если бы я использовал изображения, я бы сравнил хеш MD5, но для видео 5–40 ГБ это может занять много времени.

Для сравнения 2 видео я тестирую этот метод:

проверить соответствующие метаданные соответствияпроверьте длину файла с помощью ffmpeg / ffprobeиспользуйте ffmpeg для извлечения кадров с 100 предварительно заданными временными метками [1-100]создать MD5 хэши каждого из этих фреймовсравните хэши MD5, чтобы проверить совпадение

Кто-нибудь знает более эффективный способ сделать это? Или лучший способ подойти к проблеме?