Поэтому я реализовал код, как вы предложили. Это не сходится на Cartpole, что является неожиданным. Хуже того, если я заставлю актера ничего не изучать, просто критик даже не сойдет с правильной функцией значения статической политики. Я вроде не в курсе, как это отладить ... Я добавил полный код как редактирование к исходному вопросу

у реализовать следующий алгоритм, взятый изэта книга, раздел 13.6 [http://incompleteideas.net/book/bookdraft2017nov5.pdf]: [/imgs/YxBlr.png] Я не понимаю, как реализовать правило обновления в pytorch (правило для w довольно похоже на правило ...

 который описывает ту же проблему и решение с использованием вышеупомянутой функции.

аюсь вычислить потери на якобиане сети (т.е. выполнить двойной backprop) и получаю следующую ошибку: RuntimeError: одна из переменных, необходимых для вычисления градиента, была изменена операцией на месте Я не могу найти операцию inplace в ...

Рассчитать ошибку, используя сигмовидную функцию в обратном распространении

У меня быстрый вопрос по поводу обратного распространения. Я смотрю на следующее: http://www4.rgu.ac.uk/files/chapter3%20-%20bp.pdf В этой статье говорится...

Часть 2 Эластичная нейронная сеть с обратным распространением

Это дополнительный вопрос кэта почта, Для данного нейрона у меня нет ясности относительно того, как взять частную производную его ошибки и частную производну...

Нейронная сеть обратного распространения с RELU

Я пытаюсь реализовать нейронную сеть с RELU.входной слой -> 1 скрытый слой -> relu -> выходной слой -> слой softmaxВыше архитектура моей нейронно...

Как использовать k-кратную перекрестную проверку в нейронной сети

Обратное распространение для активации выпрямленной линейной единицы с кросс-энтропийной ошибкой

Нейронная сеть с обратным распространением не сходится

В основном я пытаюсь реализоватьbackpropogation в сети. Я знаю, что алгоритм обратного распространения жестко запрограммирован, но сначала я пытаюсь сделать его функциональным. Он работает для одного набора входов и выходов, но за одним ...

Нейронная сеть с обратным распространением не сходится

В основном яя пытаюсь реализовать

Разница в производительности между NumPy и Matlab

Я вычисляюbackpropagation алгоритм для разреженного автоэнкодера. Я реализовал это в Python, используяnumpy И вmatlab, Код почти такой же, но производительность сильно отличается. Время, затрачиваемое matlab на выполнение задачи, составляет ...