La mejor manera de procesar terabytes de datos en gcloud ml-engine con keras

Quiero entrenar un modelo en aproximadamente 2 TB de datos de imagen en el almacenamiento de gcloud. Guardé los datos de la imagen como registros separados e intenté usar la API de datos de tensorflow siguiendo este ejemplo

https: //medium.com/@moritzkrger/speeding-up-keras-with-tfrecord-datasets-5464f9836c3

Pero parece que Keras 'model.fit(...) no admite validación para conjuntos de datos tfrecord basados en

https: //github.com/keras-team/keras/pull/838

Existe un mejor enfoque para procesar grandes cantidades de datos con keras de ml-engine que me falta?

¡Muchas gracias

Respuestas a la pregunta(1)

Su respuesta a la pregunta