Я разработал модель ML для задачи классификации (0/1) NLP и развернул ее в производственной среде. Прогноз модели отображается для пользователей, и пользователи имеют возможность оставить отзыв (если прогноз был правильным / неправильным).

Как я могу постоянно включать этот отзыв в мою модель? С точки зрения UX вы не хотите, чтобы пользователь исправлял / обучал систему более двух раз / трижды для конкретного ввода, система должна учиться быстро, т. Е. Обратная связь должна включаться «быстро». (Приоритетный почтовый ящик Google делает это без проблем)

Как построить этот «цикл обратной связи», с помощью которого моя система может улучшиться? Я много искал в сети, но не смог найти соответствующий материал. любые указатели будут очень полезны.

Пожалуйста, не говорите, что вы переучиваете модель с нуля, включая новые данные. Это точно не то, как Google и Facebook строят свои умные системы

Чтобы более подробно объяснить мой вопрос - подумайте о спам-детекторе Google или их приоритетном почтовом ящике или их недавней функции «умных ответов». Это общеизвестный факт, что они имеют возможность изучать / включать (быстрый) пользовательский канал.

В то же время, когда он быстро учитывает обратную связь с пользователем (то есть пользователь должен обучать систему правильному выводу максимум 2-3 раза на одну точку данных, и система начинает давать правильный вывод для этой точки данных) И он также гарантирует, что он сохраняет старые знания и не начинает давать неправильные выходные данные на более старых точках данных (где он давал правильные выходные данные ранее) при включении обучения из новой точки данных.

Я не нашел ни одного блога / литературы / обсуждения w.r.t, как построить такие системы - интеллектуальная система, которая объясняет в обратной цепи "в системах ML

Надеюсь, мой вопрос немного яснее.

Обновление: некоторые связанные вопросы, которые я нашел:

Поддерживает ли SVM в sklearn добавочное (онлайн) обучение?

https://datascience.stackexchange.com/questions/1073/libraries-for-online-machine-learning

http://mlwave.com/predicting-click-through-rates-with-online-machine-learning/

https://en.wikipedia.org/wiki/Concept_drift

Обновление: у меня все еще нет конкретного ответа, но такой рецепт действительно существует. Прочитайте раздел «Обучение на основе отзывов» в следующем блогеМашинное обучение! = Машинное обучение, В этом Джин говорит о «добавлении обратной связи в машину». То же самое вВот, Вот, Вот4.