Этот код используется так же, как и @weixsong.
ользую TensorFlow для построения модели глубокого обучения. И новый для TensorFlow.
По какой-то причине моя модель имеет ограниченный размер партии, тогда этот ограниченный размер партии сделает модель с высокой дисперсией.
Итак, я хочу использовать трюк, чтобы увеличить размер партии. Моя идея состоит в том, чтобы сохранить градиенты каждой мини-партии, например, 64 мини-партии, а затем суммировать градиенты вместе, использовать средние градиенты этих 64 мини-партий обучающих данных для обновления параметров модели.
Это означает, что для первых 63 мини-пакетов не обновляйте параметры, а после 64 мини-пакетов обновляйте параметры модели только один раз.
Но так как TensorFlow основан на графике, кто-нибудь знает, как реализовать эту функцию?
Спасибо большое.