Я хотел бы изучить оптимальный компромисс между смещением / дисперсией для настройки модели. Я'м с использованием каретки для R, которая позволяет мне построить показатель производительности (AUC, точность ...) по отношению к гиперпараметрам модели (mtry, lambda и т. д.) и автоматически выбрать макс. Это обычно возвращает хорошую модель, но если я хочу копать дальше и выбирать другой компромисс смещения / дисперсии, мне нужна кривая обучения, а не кривая производительности.

Ради простоты, давайтескажем, моя модель - это случайный лес, в котором есть только один гиперпараметрmtry»

Я хотел бы построить кривые обучения как обучающих, так и тестовых наборов. Что-то вроде этого:

(красная кривая - тестовый набор)

На оси Y я поместил метрику ошибки (количество неверно классифицированных примеров или что-то в этом роде); по оси хmtry» или альтернативно размер тренировочного набора.

Вопросы:

Имеет ли карьеру функциональность для итеративного обучения моделей на основе разных по размеру сгибов учебных наборов? Если мне нужно написать код вручную, как я могу это сделать?

Если я хочу разместить гиперпараметр на оси x, мне нужны все модели, обученные с помощью caret :: train, а не только конечная модель (модель с максимальной производительностью, полученная после CV). Эти "отбрасывается» модель все еще доступна после поезда?