Rede neural de retropropagação resiliente - questão sobre gradiente

Primeiro, quero dizer que sou realmente novo em redes neurais e não o entendo muito bem;) Fiz minha primeira implementação em C # da rede neural de retropropagação. Eu testei usando o XOR e parece que funciona. Agora, gostaria de alterar minha ...

não consegue encontrar a operação local: uma das variáveis necessárias para o cálculo do gradiente foi modificada por uma operação local

Estou tentando calcular uma perda no jacobiano da rede (ou seja, para executar backprop duplo) e recebo o seguinte erro: RuntimeError: uma das variáveis necessárias para o cálculo do gradiente foi modificada por uma operação no local Não ...

Retropropagação para ativação de unidade linear retificada com erro de entropia cruzada

Estou tentando implementar o cálculo de gradiente para redes neurais usando retropropagação. Não consigo fazê-lo funcionar com erro de entropia cruzada e unidade linear retificada (ReLU) como ativação. Consegui fazer minha implementação ...

Como usar a validação cruzada k-fold em uma rede neural

Estamos escrevendo uma pequena RNA que deve categorizar 7000 produtos em 7 classes com base em 10 variáveis de entrada. Para fazer isso, precisamos usar a validação cruzada k-fold, mas estamos meio confusos. Temos este trecho do slide da ...

Pytorch: Como criar uma regra de atualização que não vem de derivativo

Eu quero implementar o seguinte algoritmo, retirado deeste livro, seção 13.6 [http://incompleteideas.net/book/bookdraft2017nov5.pdf]: [/imgs/YxBlr.png] Não entendo como implementar a regra de atualização no pytorch (a regra para w é bastante ...

Parte 2 Rede neural de retropropagação resiliente

Esta é uma pergunta subseqüente paraesta postagem. Para um dado neurônio, não estou claro como obter uma derivada parcial de seu erro e a derivada parcial de...

Backpropagation multithreaded

Eu escrevi uma classe de propagação de retorno no VB.NET - funciona bem - e estou usando-a em um projeto de inteligência artificial em C Mas eu tenho um AMD Phenom X3 em casa e um Intel i5 na escola. e minha rede neural não é ...

Diferença no desempenho entre numpy e matlab

Estou computando o

Calcule o erro usando uma função sigmóide na retropropagação

mplementando um perceptron com algoritmo de retropropagaç

Estou tentando implantar um perceptron de duas camadas com retropropagação para resolver o problema de paridade. A rede possui 4 entradas binárias, 4 unidades ocultas na primeira camada e 1 saída na segunda camada. Estou ...