Einfache Möglichkeit, parallele Optionen für Scikit-Learn-Funktionen auf HPC zu verwenden
In vielen Funktionen von scikit-learn ist eine benutzerfreundliche Parallelisierung implementiert. Zum Beispiel insklearn.cross_validation.cross_val_score
Übergeben Sie einfach die gewünschte Anzahl von Rechenjobs inn_jobs
Streit. Und für PC mit Multi-Core-Prozessor wird es sehr gut funktionieren. Aber wenn ich eine solche Option in einem Hochleistungscluster verwenden möchte (mit installiertem OpenMPI-Paket und Verwendung von SLURM für die Ressourcenverwaltung)? Wie ich weisssklearn
Verwendetjoblib
für die Parallelisierung, die @ verwendmultiprocessing
. Und, wie ich weiß (daraus zum Beispiel,Python Multiprocessing innerhalb von mpi) Python-Programme parallel zumultiprocessing
einfach zu skalieren oh ganze MPI-Architektur mitmpirun
Nützlichkeit. Kann ich die Berechnung von @ verbreitesklearn
funktioniert auf mehreren Rechenknoten nur mitmpirun
undn_jobs
Streit