Piszę kilka podstawowych metod sieci neuronowych - szczególnie funkcji aktywacji - i przekroczyłem granice mojej śmieciowej wiedzy z matematyki. Rozumiem odpowiednie zakresy (-1/1) (0/1) itd., Ale różne opisy i implementacje powodują, że jestem zdezorientowany.

konkretniesigmoida, logistyka, sigmoid dwubiegunowy, tanhitd.

Robisigmoida po prostu opisz kształt funkcji niezależnie od zasięgu? Jeśli tak, to czy jest to „funkcja sigmoidalna”?

W artykule widziałem „sigmoidę dwubiegunową” w porównaniu z „tanh”, jednak widziałem obie funkcje zaimplementowane (w różnych bibliotekach) z tym samym kodem:

((2 / (1 + Exp (-2 * n))) - 1). Czy to dokładnie to samo?

Podobnie widziałemlogistyka isigmoida aktywacje zaimplementowane przy użyciu tego samego kodu:

(1 / (1 + Exp (-1 * n))). Czy są one również równoważne?

Wreszcie, czy w praktyce ma to tak duże znaczenie? Widzę na wiki awykres bardzo podobnych funkcji sigmoidalnych - czy można użyć któregokolwiek z nich? Niektóre wyglądają na znacznie szybsze do obliczenia niż inne.