Melhor maneira de processar terabytes de dados no gcloud ml-engine com keras
Quero treinar um modelo em cerca de 2 TB de dados de imagem no armazenamento do gcloud. Salvei os dados da imagem como tfrecords separados e tentei usar a api de dados do tensorflow seguindo este exemplo
https: //medium.com/@moritzkrger/speeding-up-keras-with-tfrecord-datasets-5464f9836c3
Mas parece que keras 'model.fit(...)
não suporta validação para conjuntos de dados tfrecord com base em
https: //github.com/keras-team/keras/pull/838
xiste uma abordagem melhor para o processamento de grandes quantidades de dados com keras do ml-engine que estou perdend
Muito obrigado