Tiefe neuronale Netzwerk, das die Genauigkeit für die Bilderkennung, float oder double?

1. was über versteckte Neuronen output-Präzision, wäre es sicher um Sie schweben zu?

Mit float32 überall ist in der Regel der sichere erste Wahl für die meisten der neuronale Netzwerk-Anwendungen. GPUs unterstützen derzeit nur float32, so viele Praktizierende stick zu float32 überall. Für viele Anwendungen, auch 16-bit-floating-point-Werte ausreichend sein könnte. Einige extreme Beispiele zeigen, dass eine hohe Genauigkeit Netze können trainiert werden, mit nur weniger als 2 bits pro Gewicht (https://arxiv.org/abs/1610.00324).

Die Komplexität der tief-Netzwerke ist in der Regel begrenzt, nicht durch die Rechenzeit, aber durch die Menge an RAM auf einem single-GPU und den Durchsatz des Speicher-bus. Auch wenn Sie die Arbeit auf die CPU, mit einem kleineren Datentyp noch hilft, den cache effizienter zu gestalten. Sie sind selten begrenzt durch die Maschine Datentyp Präzision.

da die Farben im Bild können nur im Bereich von 0-255,

Du machst es falsch. Sie zwingen das Netzwerk zu lernen, die Größe der input-Daten, wenn es bereits bekannt ist (es sei denn, Sie verwenden eine benutzerdefinierte Gewicht-Initialisierung-Prozedur). Die besten Ergebnisse werden meist erzielt, wenn die input-Daten normalisiert auf den Bereich (-1, 1) oder (0, 1) und die GEWICHTE initialisiert werden, um die Durchschnittliche Leistung der Ebene auf der gleichen Skala. Dies ist eine beliebte Initialisierung Technik: http://andyljones.tumblr.com/post/110998971763/an-explanation-of-xavier-initialization

Wenn die Eingaben im Bereich [0, 255], dann mit einer durchschnittlichen input-als ~ 100, und die GEWICHTE als ~ 1, wird der Aktivierungs-potential (das argument der Aktivierungsfunktion) wird zu ~ 100×N, wo N ist die Anzahl von Schicht-Eingänge, die wahrscheinlich weit Weg in der "flachen" Teil der sigmoid. Also entweder Sie initialisieren Sie Ihre GEWICHTE auf ~ 1/(100×N), oder Sie skalieren Sie Ihre Daten und verwenden alle gängigen Initialisierungs-Methode. Ansonsten ist das Netz haben zu verbringen viel training, Zeit, nur um bringen Sie die GEWICHTE in dieser Größenordnung.

Stochastic gradient descent RÜCKFÜHRUNG leidet auf vanishing gradient problem, weil der Aktivierungs-Funktion Ableitung, habe ich beschlossen, nicht zu setzen, dies als eine Frage, was Präzision sollte der Verlauf variabler sein, das Gefühl, zu schweben, einfach nicht genau genug sein, speziell, wenn das Netzwerk ist tief.

Es ist viel weniger eine Frage der Maschine arithmetische Präzision, aber der Umfang der Ausgaben für jede der Schichten. In der Praxis:

• Vorverarbeitung von Eingabedaten (normalisieren auf (-1, 1) (mittelkampf)
• wenn du mehr als 2 Schichten, dann verwenden Sie nicht sigmoids, verwenden Sie gleichgerichtet linear-Einheiten statt
• initialisieren Sie die GEWICHTE vorsichtig
• verwenden Sie batch-Normalisierung

Dieses video sollte hilfreich sein, zu lernen, diese Konzepte, wenn Sie nicht vertraut mit Ihnen.