Melhor maneira de processar terabytes de dados no gcloud ml-engine com keras

Quero treinar um modelo em cerca de 2 TB de dados de imagem no armazenamento do gcloud. Salvei os dados da imagem como tfrecords separados e tentei usar a api de dados do tensorflow seguindo este exemplo

https: //medium.com/@moritzkrger/speeding-up-keras-with-tfrecord-datasets-5464f9836c3

Mas parece que keras 'model.fit(...) não suporta validação para conjuntos de dados tfrecord com base em

https: //github.com/keras-team/keras/pull/838

xiste uma abordagem melhor para o processamento de grandes quantidades de dados com keras do ml-engine que estou perdend

Muito obrigado

questionAnswers(1)

yourAnswerToTheQuestion