He trabajado en una CNN con varios cientos de GB de imágenes. He creado una función de entrenamiento que corta fragmentos de 4 Gb de estas imágenes y llamadasfit sobre cada una de estas piezas. Me preocupa que solo entrene en la última pieza, no en todo el conjunto de datos.

Efectivamente, mi pseudocódigo se ve así:

DS = lazy_load_400GB_Dataset()
for section in DS:
    X_train = section.images
    Y_train = section.classes

    model.fit(X_train, Y_train, batch_size=16, nb_epoch=30)

Sé que la API y los foros de Keras dicen que esto se entrenará en todo el conjunto de datos, pero no puedo entender intuitivamente por qué la red no volvería a aprender solo en el último fragmento de entrenamiento.

Un poco de ayuda para entender esto sería muy apreciado.

Mejor Joe