Warum sollten Gewichte neuronaler Netze mit Zufallszahlen initialisiert werden?

Wie implementiere ich einen Minibatch-Gradientenabstieg in Python?

Ich habe gerade angefangen, tiefes Lernen zu lernen. Beim Gefälle steckte ich fest. Ich weiß, wie man einen Batch-Gradientenabstieg implementiert. Ich weiß, wie es funktioniert und wie der Minibatch- und der stochastische Gradientenabstieg ...

Was ist `lr_policy` in Caffe?

Ich versuche nur herauszufinden, wie ich @ verwenden ka Caffe [http://caffe.berkeleyvision.org/]. Dazu habe ich mir einfach die verschiedenen.prototxt Dateien im Beispielordner. Es gibt eine Option, die ich nicht verstehe: # The learning rate ...

Caffe: Was kann ich tun, wenn nur ein kleiner Stapel in den Speicher passt?

Ich versuche ein sehr großes Modell zu trainieren. Daher kann ich nur eine sehr kleine Stapelgröße in den GPU-Speicher einpassen. Arbeiten mit kleinen Losgrößen führt zu sehrnoisy ...

äufige Ursachen von Nans während des Trainin

Ich habe bemerkt, dass ein häufiges Auftreten während des TrainingsNANs wird vorgestellt. ft scheint es, als würden Gewichte in das Innere des Produkts / vollständig verbundene Schichten oder Faltungsschichten gespreng Tritt dies auf, weil ...

Gradientenberechnung für die Softmax-Version des Triplettverlusts

Ich habe versucht, die in @ beschriebene Softmax-Version des Triplettverlusts in Caffe zu implementiere Hoffer und Ailon,Deep Metric Learning mit Triplet Network, ICLR 2015 [http://arxiv.org/pdf/1412.6622v3.pdf]. Ich habe es versucht, aber es ...

Kostenfunktion in der logistischen Regression ergibt NaN als Ergebnis

Ich implementiere eine logistische Regression mit Batch-Gradientenabstieg. Es gibt zwei Klassen, in die die Eingangsstichproben eingeteilt werden sollen. Die Klassen sind 1 und 0. Während ich die Daten trainiere, benutze ich die ...

lgorithmen für den stochastischen Gradientenabstieg im Vergleich zum stochastischen Gradientenabsti

Ich habe versucht, ein FeedForward-Neuronales Netzwerk mit dem Datensatz MNIST Handwritten Digits zu trainieren (enthält 60K-Trainingsbeispiele). Ich habe jedes Mal über @ iteriealle Trainingsbeispiele, Aufführen von Backpropagation für jede ...

Gradientenabstieg und normale Gleichungsmethode zum Lösen der linearen Regression ergeben unterschiedliche Lösungen

Sklearn SGDClassifier teilweise fit

Ich versuche, SGD zu verwenden, um einen großen Datensatz zu klassifizieren. Da die Daten zu groß sind, um in den Speicher zu passen, möchte ich die verwendenTeil_Fit Methode zum Trainieren des Klassifikators. Ich habe eine Stichprobe des ...