Melhor maneira de processar terabytes de dados no gcloud ml-engine com keras

Quero treinar um modelo em cerca de 2 TB de dados de imagem no armazenamento do gcloud. Salvei os dados da imagem como tfrecords separados e tentei usar a api de dados do tensorflow seguindo este ...