Eu gostaria de estudar o tradeoff ideal entre bias / variância para o ajuste do modelo. Eu estou usando o caret para R, o que me permite traçar a métrica de desempenho (AUC, precisão ...) contra os hiperparâmetros do modelo (mtry, lambda, etc.) e automaticamente escolhe o max. Isso normalmente retorna um bom modelo, mas se eu quiser ir mais longe e escolher uma troca de viés / variância diferente, preciso de uma curva de aprendizado, não uma curva de desempenho.

Por uma questão de simplicidade, digamos que meu modelo é uma floresta aleatória, que tem apenas um hiperparâmetro 'mtry'

Eu gostaria de plotar as curvas de aprendizado dos conjuntos de treinamento e teste. Algo assim:

(curva vermelha é o conjunto de teste)

No eixo y, coloco uma métrica de erro (número de exemplos classificados incorretamente ou algo parecido); no eixo x 'mtry' ou alternativamente o tamanho do conjunto de treino.

Questões:

Tem caret a funcionalidade para treinar iterativamente modelos baseados em dobras conjunto de treinamento diferentes em tamanho? Se eu tiver que codificar manualmente, como posso fazer isso?

Se eu quiser colocar o hiperparâmetro no eixo x, eu preciso de todos os modelos treinados por caret :: train, não apenas o modelo final (aquele com desempenho máximo após CV). Esses modelos "descartados" ainda estão disponíveis após o treinamento?