Ich möchte den optimalen Kompromiss zwischen Bias / Varianz für die Modelloptimierung untersuchen. Ich verwende Caret für R, um die Performance-Metrik (AUC, Genauigkeit ...) mit den Hyperparametern des Modells (mtry, Lambda usw.) zu plotten, und wähle automatisch die max. Dies ergibt normalerweise ein gutes Modell, aber wenn ich weiter graben und einen anderen Bias / Varianz-Kompromiss wählen möchte, brauche ich eine Lernkurve, keine Leistungskurve.

Nehmen wir der Einfachheit halber an, mein Modell ist eine zufällige Gesamtstruktur mit nur einem Hyperparameter 'mtry'.

Ich möchte die Lernkurven sowohl von Trainings- als auch von Test-Sets aufzeichnen. Etwas wie das:

(rote Kurve ist der Testsatz)

Auf die y-Achse stelle ich eine Fehlermetrik (Anzahl der falsch klassifizierten Beispiele oder ähnliches); auf der x-achse 'mtry' oder alternativ die größe des trainingssets.

Fragen:

Hat caret die Funktionalität, Modelle basierend auf Trainingssatzfalten unterschiedlicher Größe iterativ zu trainieren? Wie kann ich das tun, wenn ich manuell codieren muss?

Wenn ich den Hyperparameter auf die x-Achse setzen möchte, brauche ich alle Modelle, die von caret :: train trainiert wurden, nicht nur das endgültige Modell (das mit der maximalen Leistung nach dem Lebenslauf). Sind diese "weggeworfenen" Modelle nach dem Zug noch verfügbar?