Inicialización de peso

Planeo usar el algoritmo de Nguyen-Widrow para una NN conmúltiples capas ocultas. Mientras investigaba, encontré muchas ambigüedades y deseo aclararlas.

El siguiente es un pseudo código para el algoritmo de Nguyen-Widrow

      Initialize all weight of hidden layers with random values
      For each hidden layer{
          beta = 0.7 * Math.pow(hiddenNeurons, 1.0 / number of inputs);
          For each synapse{
             For each weight{
              Adjust weight by dividing by norm of weight for neuron and * multiplying by beta value
            }
          } 
      }

Solo quería aclarar si el valor de hiddenNeurons es el tamaño de la capa oculta en particular, o el tamaño de todas las capas ocultas dentro de la red. Me confundí viendo varias fuentes.

En otras palabras, si tengo una red (3-2-2-2-3)(el índice 0 es la capa de entrada, el índice 4 es la capa de salida), sería el valor ocultoNeuronas:

NumberOfNeuronsInLayer(1) + NumberOfNeuronsInLayer(2) + NumberOfNeuronsInLaer(3)

O solo

NumberOfNeuronsInLayer (i), donde i es la capa actual en la que estoy

EDITAR:

Entonces, ¿el valor de hiddenNeurons sería el tamaño de la capa oculta actual, y el valor de entrada sería el tamaño de la capa oculta anterior?

Respuestas a la pregunta(2)

Su respuesta a la pregunta