Was ist der richtige Weg, um TensorFlow für Echtzeitvorhersagen in einer stark frequentierten Anwendung zu verwenden.

Ideally Ich hätte einen Server / Cluster, auf dem Tensorflow ausgeführt wird, der auf einem oder mehreren Ports lauscht, auf denen ich eine Verbindung von App-Servern herstellen und Vorhersagen abrufen kann, die der Art und Weise ähneln, wie Datenbanken verwendet werden. Das Training sollte durch Cronjobs erfolgen, die die Trainingsdaten über das Netzwerk an denselben Server / Cluster senden.

Wie setzt man Tensorflow eigentlich in der Produktion ein? Sollte ich ein Setup erstellen, in dem der Python als Server ausgeführt wird, und die Python-Skripte verwenden, um Vorhersagen zu erhalten? Ich bin noch neu in diesem Bereich, aber ich bin der Meinung, dass ein solches Skript Sitzungen usw. öffnen muss, was nicht skalierbar ist. (Ich spreche von 100 Vorhersagen / Sek.)

Jeder Verweis auf relevante Informationen wird sehr geschätzt. Ich konnte keine finden.