Ich habe an einem CNN über mehrere hundert GB Bilder gearbeitet. Ich habe eine Trainingsfunktion erstellt, die 4 GB große Teile dieser Bilder abbeißt und @ aufruffit über jedes dieser Stücke. Ich mache mir Sorgen, dass ich nur das letzte Stück trainiere und nicht den gesamten Datensatz.

Effektiv sieht mein Pseudocode so aus:

DS = lazy_load_400GB_Dataset()
for section in DS:
    X_train = section.images
    Y_train = section.classes

    model.fit(X_train, Y_train, batch_size=16, nb_epoch=30)

Ich weiß, dass die API und die Keras-Foren sagen, dass dies den gesamten Datensatz durchläuft, aber ich kann nicht intuitiv nachvollziehen, warum das Netzwerk nicht nur den letzten Trainingsteil neu gelernt hat.

Einige Hilfe zu diesem Verständnis wäre sehr dankbar.

Best, Joe