Кривые обучения участка с пакетом каретки и R

Я хотел бы изучить оптимальный компромисс между смещением / дисперсией для настройки модели. Я использую каретку для R, которая позволяет мне построить показатель производительности (AUC, точность ...) по отношению к гиперпараметрам модели (mtry, lambda и т. Д.) И автоматически выбирает макс. Это обычно возвращает хорошую модель, но если я хочу копать дальше и выбирать другой компромисс смещения / дисперсии, мне нужна кривая обучения, а не кривая производительности.

Для простоты, скажем, моя модель - это случайный лес, в котором есть только один гиперпараметр «mtry».

Я хотел бы построить кривые обучения как обучающих, так и тестовых наборов. Что-то вроде этого:

(красная кривая - тестовый набор)

На оси Y я поместил метрику ошибки (количество неверно классифицированных примеров или что-то в этом роде); на оси x «mtry» или, альтернативно, размер тренировочного набора.

Вопросов:

Имеет ли карьеру функциональность для итеративного обучения моделей на основе разных по размеру сгибов учебных наборов? Если мне нужно написать код вручную, как я могу это сделать?

Если я хочу разместить гиперпараметр на оси x, мне нужны все модели, обученные с помощью caret :: train, а не только конечная модель (модель с максимальной производительностью, полученная после CV). Эти «выброшенные» модели все еще доступны после поезда?

Ответы на вопрос(3)

Ваш ответ на вопрос