La mejor manera de procesar terabytes de datos en gcloud ml-engine con keras

Quiero entrenar un modelo en aproximadamente 2 TB de datos de imagen en el almacenamiento de gcloud. Guardé los datos de la imagen como registros separados e intenté usar la API de datos de tensorflow siguiendo este ...