So habe ich ein sehr einfaches NN-Skript in Tensorflow geschrieben, und es fällt mir schwer, herauszufinden, woher etwas "Zufälliges" kommt.

Ich habe das @ aufgenomm

Gewichte, Farbverläufe, Logits

meines Netzwerks, während ich trainiere, und bei der ersten Iteration ist klar, dass alles gleich beginnt. Ich habe einen SEED-Wert für das Einlesen der Daten und einen SEED-Wert für die Initialisierung der Netzgewichte. Die ändere ich nie.

Mein Problem ist, dass bei der zweiten Iteration jedes von mir ausgeführten Wiederholungslaufs das @ angezeigt wir Farbverläufe divergieren (um einen kleinen Betrag, wie z. B. 1e-6 oder so). Im Laufe der Zeit führt dies natürlich zu nicht wiederholbarem Verhalten.

Was könnte die Ursache dafür sein? Ich weiß nicht, woher eine mögliche Quelle der Zufälligkeit kommt ...

Vielen Dan