@RobRomijnders На самом деле, я ожидал, что ваш оригинальный вариант тоже работает. Я думал, что между оптимизаторами может быть внутренняя зависимость, но тензорная доска ничего не показала. Похоже, ошибка для меня.

дряю альтернативную схему обучения. График содержит две учебные операции. Обучение должно чередоваться между ними. Это актуально для таких исследований, какэто [https://arxiv.org/abs/1611.08408] или жеэто [https://arxiv.org/abs/1612.02649] Ниже ...