Tengo un programa que copia una gran cantidad de archivos de una ubicación a otra; estoy hablando de más de 100,000 archivos (estoy copiando 314g en secuencias de imágenes en este momento). Ambos están en un enorme, MUY rápido almacenamiento de red RAID en extremo. Estoy usando shutil para copiar los archivos secuencialmente y me está tomando algo de tiempo, así que estoy tratando de encontrar la mejor manera de optimizar esto. Me he dado cuenta de que algunos software que utilizo de manera efectiva con múltiples hilos leen archivos fuera de la red con grandes ganancias en los tiempos de carga, así que me gustaría intentar hacer esto en Python.

No tengo experiencia con la programación de multiprocesamiento / multiprocesamiento: ¿parece que esta es el área correcta para continuar? Si es así, ¿cuál es la mejor manera de hacer esto? He echado un vistazo a algunas otras publicaciones SO con respecto a la copia de archivos de subprocesos en Python y todas parecían decir que no obtienes ganancia de velocidad, pero no creo que este sea el caso teniendo en cuenta mi hardware. No estoy cerca de mi límite de E / S en este momento y los recursos están en torno al 1% (tengo 40 núcleos y 64 g de RAM localmente).

Spencer