Как обновить Spark MatrixFactorizationModel для ALS
Я создаю простую систему рекомендаций для БД MovieLens, вдохновленнуюhttps://databricks-training.s3.amazonaws.com/movie-recom,mendation-with-mllib.html.
У меня также есть проблемы с явным обучением, как здесь:Результаты совместной фильтрации Apache Spark ALS. Они не имеют смысла Использование неявного обучения (как для явных, так и для неявных данных) дает мне разумные результаты, а явное обучение - нет.
Пока это нормально для меня, мне интересно, как обновить модель. Хотя мое текущее решение работает как
имея все пользовательские рейтингисоздать модельполучить рекомендации для пользователяЯ хочу иметь такой поток:
имея базу рейтинговсоздать модель один раз (опционально сохранить и загрузить)получить рейтинг от одного пользователя на 10 случайных фильмов (не в модели!)получить рекомендации, используя модель и новые пользовательские рейтингиПоэтому я должен обновить свою модель, не пересчитывая ее полностью. Есть ли шанс сделать это?
В то время как первый способ хорош для пакетной обработки (например, генерация рекомендаций в ночных пакетах), второй способ будет полезен для генерации рекомендаций практически в режиме реального времени.