Einfache Möglichkeit, parallele Optionen für Scikit-Learn-Funktionen auf HPC zu verwenden

In vielen Funktionen von scikit-learn ist eine benutzerfreundliche Parallelisierung implementiert. Zum Beispiel insklearn.cross_validation.cross_val_score Übergeben Sie einfach die gewünschte Anzahl von Rechenjobs inn_jobs Streit. Und für PC mit Multi-Core-Prozessor wird es sehr gut funktionieren. Aber wenn ich eine solche Option in einem Hochleistungscluster verwenden möchte (mit installiertem OpenMPI-Paket und Verwendung von SLURM für die Ressourcenverwaltung)? Wie ich weisssklearn Verwendetjoblib für die Parallelisierung, die @ verwendmultiprocessing. Und, wie ich weiß (daraus zum Beispiel,Python Multiprocessing innerhalb von mpi) Python-Programme parallel zumultiprocessing einfach zu skalieren oh ganze MPI-Architektur mitmpirun Nützlichkeit. Kann ich die Berechnung von @ verbreitesklearn funktioniert auf mehreren Rechenknoten nur mitmpirun undn_jobs Streit

Antworten auf die Frage(2)

Ihre Antwort auf die Frage