Inicialización de peso
Planeo usar el algoritmo de Nguyen-Widrow para una NN conmúltiples capas ocultas. Mientras investigaba, encontré muchas ambigüedades y deseo aclararlas.
El siguiente es un pseudo código para el algoritmo de Nguyen-Widrow
Initialize all weight of hidden layers with random values
For each hidden layer{
beta = 0.7 * Math.pow(hiddenNeurons, 1.0 / number of inputs);
For each synapse{
For each weight{
Adjust weight by dividing by norm of weight for neuron and * multiplying by beta value
}
}
}
Solo quería aclarar si el valor de hiddenNeurons es el tamaño de la capa oculta en particular, o el tamaño de todas las capas ocultas dentro de la red. Me confundí viendo varias fuentes.
En otras palabras, si tengo una red (3-2-2-2-3)(el índice 0 es la capa de entrada, el índice 4 es la capa de salida), sería el valor ocultoNeuronas:
NumberOfNeuronsInLayer(1) + NumberOfNeuronsInLayer(2) + NumberOfNeuronsInLaer(3)
O solo
NumberOfNeuronsInLayer (i), donde i es la capa actual en la que estoy
EDITAR:
Entonces, ¿el valor de hiddenNeurons sería el tamaño de la capa oculta actual, y el valor de entrada sería el tamaño de la capa oculta anterior?