análisis de archivos paralelos, múltiples núcleos de CPU

Hice una pregunta relacionada pero muy general anteriormente (ver especialmenteesta respuesta)

Esta pregunta es muy específica. Este es todo el código que me importa:

result = {}
for line in open('input.txt'):
  key, value = parse(line)
  result[key] = value

La funciónparse es completamente autónomo (es decir, no utiliza ningún recurso compartido).

Tengo la CPU Intel i7-920 (4 núcleos, 8 hilos; creo que los hilos son más relevantes, pero no estoy seguro).

¿Qué puedo hacer para que mi programa use todas las capacidades paralelas de esta CPU?

Supongo que puedo abrir este archivo para leer en 8 subprocesos diferentes sin mucha penalización de rendimiento ya que el tiempo de acceso al disco es pequeño en relación con el tiempo total.

Respuestas a la pregunta(6)

Su respuesta a la pregunta