Инициализация веса
Я планирую использовать алгоритм Nguyen-Widrow для NN снесколько скрытых слоев, В ходе исследования я обнаружил много неясностей и хочу их уточнить.
Ниже приведен псевдокод для алгоритма Нгуена-Видроу
Initialize all weight of hidden layers with random values
For each hidden layer{
beta = 0.7 * Math.pow(hiddenNeurons, 1.0 / number of inputs);
For each synapse{
For each weight{
Adjust weight by dividing by norm of weight for neuron and * multiplying by beta value
}
}
}
Просто хотелось уточнить, является ли значение hiddenNeurons размером определенного скрытого слоя или размером всех скрытых слоев в сети. Я запутался, просмотрев различные источники.
Другими словами, если у меня есть сеть (3-2-2-2-3)(индекс 0 является входным слоем, индекс 4 является выходным слоем)будет ли значение hiddenNeurons:
NumberOfNeuronsInLayer(1) + NumberOfNeuronsInLayer(2) + NumberOfNeuronsInLaer(3)
Или просто
NumberOfNeuronsInLayer (i), где i - текущий слой, в котором я нахожусь
РЕДАКТИРОВАТЬ:
Таким образом, значение hiddenNeurons будет размером текущего скрытого слоя, а значение ввода будет размером предыдущего скрытого слоя?