Como se sugiere enesta respuesta, Intenté usar joblib para entrenar varios modelos de scikit-learn en paralelo.

import joblib
import numpy
from sklearn import tree, linear_model

classifierParams = {
                "Decision Tree": (tree.DecisionTreeClassifier, {}),''
                "Logistic Regression" : (linear_model.LogisticRegression, {})
}


XTrain = numpy.array([[1,2,3],[4,5,6]])
yTrain = numpy.array([0, 1])

def trainModel(name, clazz, params, XTrain, yTrain):
    print("training ", name)
    model = clazz(**params)
    model.fit(XTrain, yTrain)
    return model


joblib.Parallel(n_jobs=4)(joblib.delayed(trainModel)(name, clazz, params, XTrain, yTrain) for (name, (clazz, params)) in classifierParams.items())

Sin embargo, la llamada a la última línea lleva años sin utilizar la CPU, de hecho, parece bloquearse y nunca devolver nada. ¿Cual es mi error?

Una prueba con una cantidad muy pequeña de datos enXTrain sugiere que la copia de la matriz numpy en múltiples procesos no es la razón del retraso.