La mejor manera de procesar terabytes de datos en gcloud ml-engine con keras
Quiero entrenar un modelo en aproximadamente 2 TB de datos de imagen en el almacenamiento de gcloud. Guardé los datos de la imagen como registros separados e intenté usar la API de datos de tensorflow siguiendo este ejemplo
https: //medium.com/@moritzkrger/speeding-up-keras-with-tfrecord-datasets-5464f9836c3
Pero parece que Keras 'model.fit(...)
no admite validación para conjuntos de datos tfrecord basados en
https: //github.com/keras-team/keras/pull/838
Existe un mejor enfoque para procesar grandes cantidades de datos con keras de ml-engine que me falta?
¡Muchas gracias