Estou trabalhando em uma CNN com várias centenas de GB de imagens. Eu criei uma função de treinamento que corta pedaços de 4Gb dessas imagens e chamadasfit sobre cada uma dessas peças. Estou preocupado que só esteja treinando na última peça e não em todo o conjunto de dados.

Efetivamente, meu pseudo-código é assim:

DS = lazy_load_400GB_Dataset()
for section in DS:
    X_train = section.images
    Y_train = section.classes

    model.fit(X_train, Y_train, batch_size=16, nb_epoch=30)

Sei que os fóruns da API e do Keras dizem que isso será treinado em todo o conjunto de dados, mas não consigo entender intuitivamente por que a rede não reaprendeu apenas o último pedaço de treinamento.

Alguma ajuda para entender isso seria muito apreciada.

Best Joe