Я пишу некоторые основные методы нейронной сети - в частности, функции активации - и попал в рамки моих позорных знаний по математике. Я понимаю соответствующие диапазоны (-1/1) (0/1) и т. Д., Но меняются путаницы из-за различных описаний и реализаций.

конкретноsigmoid, logistic, bipolar sigmoid, tanh, так далее.

Есть лиsigmoid просто опишите форму функции независимо от диапазона? Если так, то является ли «сигмовидная функция»?

Я видел «биполярную сигмовидную кишку» по сравнению с «tanh»; однако в статье я видел, как обе функции реализованы (в разных библиотеках) с одним и тем же кодом:

((2 / (1 + Exp (-2 * n))) - 1). Они точно такие же?

Точно так же я виделlogistic а такжеsigmoid Активации реализованы с использованием того же кода:

(1 / (1 + Exp (-1 * n))). Они также эквивалентны?

И наконец, имеет ли это такое большое значение на практике? Я вижу на викисюжет очень похожих сигмоидальных функций - Можно ли использовать что-нибудь из этого? Некоторые выглядят так, как будто они могут быть значительно быстрее, чем другие.