Как правильно использовать TensorFlow для прогнозов в реальном времени в приложениях с высоким трафиком.

В идеале я хотел бы, чтобы сервер / кластер выполнял тензор потока, слушая порт (ы), где я мог подключаться с серверов приложений и получать прогнозы, аналогичные способам использования баз данных. Обучение должно выполняться заданиями cron, передающими обучающие данные через сеть на один и тот же сервер / кластер.

Как на самом деле использовать тензорный поток в производстве? Должен ли я создать установку, в которой python работает как сервер, и использовать сценарии python для получения прогнозов? Я все еще новичок в этом, но я чувствую, что такой скрипт должен будет открывать сессии и т. Д., Который не масштабируется. (Я говорю о сотнях предсказаний / сек).

Любой указатель на соответствующую информацию будет высоко оценен. Я не мог найти ни одного.