Этот код используется так же, как и @weixsong.

ользую TensorFlow для построения модели глубокого обучения. И новый для TensorFlow.

По какой-то причине моя модель имеет ограниченный размер партии, тогда этот ограниченный размер партии сделает модель с высокой дисперсией.

Итак, я хочу использовать трюк, чтобы увеличить размер партии. Моя идея состоит в том, чтобы сохранить градиенты каждой мини-партии, например, 64 мини-партии, а затем суммировать градиенты вместе, использовать средние градиенты этих 64 мини-партий обучающих данных для обновления параметров модели.

Это означает, что для первых 63 мини-пакетов не обновляйте параметры, а после 64 мини-пакетов обновляйте параметры модели только один раз.

Но так как TensorFlow основан на графике, кто-нибудь знает, как реализовать эту функцию?

Спасибо большое.

Ответы на вопрос(3)

Ваш ответ на вопрос