Agora usamos o TensorFlow para treinar e exportar um modelo. Podemos implementar o serviço de inferência com este modelo, exatamente comotensorflow/serving faz.

Eu tenho uma pergunta sobre se otf.Session objeto é thread-safe ou não. Se for verdade, podemos inicializar o objeto após iniciar e usar o objeto singleton para processar as solicitações simultâneas.