Neuronales Netzwerk, ist es es Wert ist verändert zu lernraten und momentum im Laufe der Zeit
Ist es Wert zu ändern, learning rate, nachdem bestimmte Bedingungen erfüllt sind? Und wie und warum es zu tun? Zum Beispiel wird net starten mit hohen lernraten und nach der quadrierten Fehler ist gering genug, learning rate drop für bessere Präzision oder die learning-rate erhöhen sollte, um zu springen-aus lokalen minima?. Wäre es nicht verursachen over-fitting? Und was ist mit Dynamik?
Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.
In der Regel sollten Sie beginnen, mit hoher Lern-rate und eine geringe Dynamik. Dann sinkt die learning-rate im Laufe der Zeit und erhöhen die Dynamik. Die Idee ist es, mehr exploration zu Beginn des Lernens und der Kraft, die Konvergenz am Ende des Lernens. In der Regel sollten Sie sich im training Fehler zum einrichten Ihres Lernplan: wenn es geklemmt hat, also die Fehler nicht ändern, ist es Zeit, verringern Sie Ihre Lern-rate.