ipython notebook: wie man ein externes script parallelisiert

Ich versuche, paralleles Rechnen von der parallelen Bibliothek von ipython zu verwenden. Aber ich habe wenig Wissen darüber und finde es schwierig, das Dokument von jemandem zu lesen, der nichts über Parallel-Computing weiß.

Witzigerweise haben alle Tutorials, die ich gefunden habe, das Beispiel im Dokument wiederholt, mit derselben Erklärung, die aus meiner Sicht unbrauchbar ist.

Grundsätzlich würde ich gerne einige Skripte im Hintergrund ausführen, damit sie zur gleichen Zeit ausgeführt werden. In Bash wäre es so etwas wie:

for my_file in $(cat list_file); do
    python pgm.py my_file &
done

Aber der Bash-Interpreter von Ipython Notebook beherrscht den Hintergrundmodus nicht.

Es scheint, dass die Lösung darin bestand, eine parallele Bibliothek von ipython zu verwenden.

Ich habe es versucht :

from IPython.parallel import Client
rc = Client()
rc.block = True
dview = rc[:2] # I take only 2 engines

Aber dann stecke ich fest. Ich kann nicht zweimal (oder mehrmals) dasselbe Skript oder dieselbe Programmiersprache gleichzeitig ausführen.

Vielen Dank.

Antworten auf die Frage(2)

Ihre Antwort auf die Frage