Tengo un sistema donde se ingieren los archivos de video y luego se inician varias tareas intensivas de CPU. Como estas tareas son computacionalmente caras, me gustaría omitir el procesamiento de un archivo si ya se ha procesado.

Los videos provienen de varias fuentes, por lo que los nombres de archivos, etc., no son opciones viables.

Si estuviera usando imágenes, compararía el hash MD5 pero en un video de 5GB a 40GB esto puede tomar mucho tiempo para calcular.

Para comparar los 2 videos estoy probando este método:

verifique las coincidencias de metadatos relevantescomprobar la longitud del archivo con ffmpeg / ffprobeuse ffmpeg para extraer cuadros a 100 marcas de tiempo predefinidas [1-100]Crea hashes MD5 de cada uno de esos marcos.compara los hashes MD5 para verificar si hay una coincidencia

¿Alguien sabe una forma más eficiente de hacer esto? ¿O una mejor manera de abordar el problema?