Estou tentando usar a computação paralela da biblioteca paralela ipython. Mas tenho pouco conhecimento sobre o assunto e acho difícil ler o documento de alguém que não sabe nada sobre computação paralela.

Engraçado, todos os tutoriais que encontrei apenas reutilizam o exemplo no documento, com a mesma explicação, que do meu ponto de vista é inútil.

Basicamente, o que eu gostaria de fazer é executar alguns scripts em segundo plano para que sejam executados ao mesmo tempo. No bash, seria algo como:

for my_file in $(cat list_file); do
    python pgm.py my_file &
done

Mas o intérprete do bash do notebook Ipython não lida com o modo de segundo plano.

Parece que a solução foi usar a biblioteca paralela do ipython.

Eu tentei :

from IPython.parallel import Client
rc = Client()
rc.block = True
dview = rc[:2] # I take only 2 engines

Mas então eu estou preso. Não sei como executar duas vezes (ou mais) o mesmo script ou pgm ao mesmo tempo.

Obrigado.