Я работаю над CNN над несколькими сотнями гигабайт изображений. Я создал обучающую функцию, которая откусывает 4Gb-фрагменты этих изображений и вызовов.fit над каждой из этих частей. Я беспокоюсь, что я тренируюсь только на последнем материале, а не на всем наборе данных.

По сути, мой псевдокод выглядит так:

DS = lazy_load_400GB_Dataset()
for section in DS:
    X_train = section.images
    Y_train = section.classes

    model.fit(X_train, Y_train, batch_size=16, nb_epoch=30)

Я знаю, что API и форумы Keras говорят, что это будет проходить по всему набору данных, но я не могу интуитивно понять, почему сеть не будет заново изучать только последний обучающий блок.

Некоторая помощь в понимании этого будет высоко ценится.

Лучше всего, Джо