В целях обучения я реализовал простую структуру нейронной сети, которая поддерживает только многослойные персептроны и простое обратное распространение. Он работает нормально для линейной классификации и обычной задачи XOR, но для приближения синусоидальной функции результаты не такие удовлетворительные.

Я в основном пытаюсь приблизить один период синусоидальной функции одним скрытым слоем, состоящим из 6-10 нейронов. Сеть использует гиперболический тангенс в качестве функции активации для скрытого слоя и линейную функцию для вывода. Результат остается довольно грубой оценкой синусоиды и требует много времени для расчета.

я смотрел наEncog для справки, но даже при этом я не могу заставить его работать с простым обратным распространением (при переключении на устойчивое распространение оно начинает улучшаться, но все еще намного хуже, чем предоставленный супер гладкий сценарий Rв этом похожем вопросе). Так что я на самом деле пытаюсь сделать что-то, чтоне возможно? Разве невозможно приблизить синус с простым обратным распространением (без импульса, без динамической скорости обучения)? Какой метод используется библиотекой нейронных сетей в R?

РЕДАКТИРОВАТЬЯ знаю, что это определенновозможный чтобы найти достаточно хорошее приближение даже при простом обратном распространении (если вам невероятно повезло с вашими начальными весами), но на самом деле мне было более интересно узнать, является ли этовыполнимый подход. Сценарий R, с которым я связан, кажется, сходится так невероятно быстро и надежно (в 40 эпохах только с несколькими учебными образцами) по сравнению с моей реализацией или даже смогомЭластичное распространение. Я'мне просто интересно, если естьЧто-то, что я могу сделать, чтобы улучшить свой алгоритм обратного распространения, чтобы добиться той же производительности, или мне нужно искать какой-то более продвинутый метод обучения?