Сначала я хочу сказать, что я действительно новичок в нейронных сетях, и я не очень хорошо понимаю это;)

Я сделал свою первую реализацию C # нейронной сети обратного распространения. Я проверил это с помощью XOR, и похоже, это работает.

Теперь я хотел бы изменить мою реализацию, чтобы использовать устойчивое обратное распространение (Rprop -http://en.wikipedia.org/wiki/Rprop).

Определение гласит: «Rprop учитывает только знак частной производной по всем шаблонам (не величину) и действует независимо от каждого« веса ».

Может кто-нибудь сказать мне, что частная производная по всем шаблонам? И как я должен вычислить эту частную производную для нейрона в скрытом слое.

большое спасибо

ОБНОВИТЬ:

Моя реализация основана на этом Java-коде: www_.dia.fi.upm.es/~jamartin/downloads/bpnn.java

Мой метод backPropagate выглядит так:

public double backPropagate(double[] targets)
    {
        double error, change;

        // calculate error terms for output
        double[] output_deltas = new double[outputsNumber];

        for (int k = 0; k < outputsNumber; k++)
        {

            error = targets[k] - activationsOutputs[k];
            output_deltas[k] = Dsigmoid(activationsOutputs[k]) * error;
        }

        // calculate error terms for hidden
        double[] hidden_deltas = new double[hiddenNumber];

        for (int j = 0; j < hiddenNumber; j++)
        {
            error = 0.0;

            for (int k = 0; k < outputsNumber; k++)
            {
                error = error + output_deltas[k] * weightsOutputs[j, k];
            }

            hidden_deltas[j] = Dsigmoid(activationsHidden[j]) * error;
        }

        //update output weights
        for (int j = 0; j < hiddenNumber; j++)
        {
            for (int k = 0; k < outputsNumber; k++)
            {
                change = output_deltas[k] * activationsHidden[j];
                weightsOutputs[j, k] = weightsOutputs[j, k] + learningRate * change + momentumFactor * lastChangeWeightsForMomentumOutpus[j, k];
                lastChangeWeightsForMomentumOutpus[j, k] = change;

            }
        }

        // update input weights
        for (int i = 0; i < inputsNumber; i++)
        {
            for (int j = 0; j < hiddenNumber; j++)
            {
                change = hidden_deltas[j] * activationsInputs[i];
                weightsInputs[i, j] = weightsInputs[i, j] + learningRate * change + momentumFactor * lastChangeWeightsForMomentumInputs[i, j];
                lastChangeWeightsForMomentumInputs[i, j] = change;
            }
        }

        // calculate error
        error = 0.0;

        for (int k = 0; k < outputsNumber; k++)
        {
            error = error + 0.5 * (targets[k] - activationsOutputs[k]) * (targets[k] - activationsOutputs[k]);
        }

        return error;
    }

Так я могу использоватьchange = hidden_deltas[j] * activationsInputs[i] переменная как градиент (частная производная) для проверки пения?