Estou usando o Spark 1.6.1:

Atualmente, estou usando um CrossValidator para treinar meu ML Pipeline com vários parâmetros. Após o processo de treinamento, posso usar a propriedade bestModel do CrossValidatorModel para obter o Modelo com melhor desempenho durante a Validação Cruzada. Os outros modelos da validação cruzada são descartados automaticamente ou posso selecionar um modelo com desempenho pior que o bestModel?

Estou perguntando porque estou usando a métrica F1 Score para a validação cruzada, mas também estou interessado na recordação de todos os modelos e não apenas no modelo que teve melhor desempenho durante a validação cruzada

val folds = 6
val cv = new CrossValidator()
  .setEstimator(pipeline)
  .setEvaluator(new MulticlassClassificationEvaluator)
  .setEstimatorParamMaps(paramGrid)
  .setNumFolds(folds)

val avgF1Scores = cvModel.avgMetrics

val predictedDf = cvModel.bestModel.transform(testDf)

// Here I would like to predict as well with the other models of the cross validation