Monitor Qualifizierung/Validierung im Caffe

Ich trainiere Caffe-Referenz-Modell für die Klassifizierung von Bildern.
Meine Arbeit verlangt von mir, das training zu überwachen Prozess durch zeichnen von Graphen der Genauigkeit des Modells nach jeweils 1000 Iterationen auf den gesamten Trainings-set und Validierungsdaten, die hat 100K und 50K Bilder beziehungsweise.
Gerade jetzt, Im nehmend der naive Ansatz, machen Schnappschüsse nach jeweils 1000 Iterationen, führen Sie das C++ classififcation code liest die raw-JPEG-Bild und freuen sich auf die Netto-und Ausgang dem vorhergesagten labels. Allerdings nimmt diese zu viel Zeit auf meinem Rechner (mit einer Geforce GTX 560 Ti)

Gibt es einen schnelleren Weg, dass ich tun kann, um die Grafik der Genauigkeit der snapshot-Modelle auf training und Validierung setzt?

Ich dachte über die Verwendung von LMDB-format anstelle des raw-Bilder. Aber ich finde keine Dokumentation/code zu tun Einstufung in C++ unter Verwendung von LMDB-format.

  • Warum bist du nicht mit ZIFFERN um Ihnen zu helfen in der Ausbildung? Es hat ein build-in-monitoring-Funktionen.
InformationsquelleAutor DucCuong | 2015-08-13
  1. 24

    1) können Sie die NVIDIA-ZIFFERN app zum überwachen Ihrer Netzwerke. Sie bieten eine GUI inklusive dataset Vorbereitung, Modell-Auswahl, und die Lernkurve Visualisierung. Mehr, verwenden Sie eine caffe-Verteilung ermöglicht multi-GPU-Ausbildung.

    2) Oder Sie verwenden einfach die log-parser innerhalb caffe.

    /pathtocaffe/build/tools/caffe train --solver=solver.prototxt 2>&1 | tee lenet_train.log

    Dies ermöglicht Ihnen das speichern Zug-log-in "lenet_train.log". Dann mit:

    python /pathtocaffe/tools/extra/parse_log.py lenet_train.log .

    Sie analysieren Ihre Zug-log in zwei csv-Dateien, mit dem Zug und testen Sie den Verlust. Sie können dann zeichnen Sie mit dem folgenden python-Skript

    import pandas as pd
from matplotlib import *
from matplotlib.pyplot import *

train_log = pd.read_csv("./lenet_train.log.train")
test_log = pd.read_csv("./lenet_train.log.test")
_, ax1 = subplots(figsize=(15, 10))
ax2 = ax1.twinx()
ax1.plot(train_log["NumIters"], train_log["loss"], alpha=0.4)
ax1.plot(test_log["NumIters"], test_log["loss"], 'g')
ax2.plot(test_log["NumIters"], test_log["acc"], 'r')
ax1.set_xlabel('iteration')
ax1.set_ylabel('train loss')
ax2.set_ylabel('test accuracy')
savefig("./train_test_image.png") #save image as png
    • Danke für die ausführliche Antwort. ZIFFERN scheint ein gutes tool, ich werde es für die nächsten Experimente
    • Ich bin ein bisschen verwirrt, die "test_log" Sie sprechen, ist tatsächlich "Validierung" oder ist ein echter "test" ?
    • Es ist eine Bestätigung. Aber es scheint, dass in caffe 'val' und 'test' das gleiche bedeuten.
    • Importe fehlen
    • Hi Jia, ich Ihre Methode ausprobiert habe, aber ich bekomme "Nicht schreiben .\mylog.log.Zug; keine Linien zu schreiben", wenn ich versuche, Sie zu durchsuchen, es. Irgendwelche Ideen, warum?
    InformationsquelleAutor Jia Li
  2. 1

    Caffe Protokolle erstellt jedes mal, wenn Sie versuchen, zu trainieren, etwas, und befindet sich im tmp-Ordner (beide linux und windows).

    Ich schrieb auch einer Plot-Skript in python, die Sie problemlos verwenden können, zu visualisieren Verlust/Genauigkeit.

    Legen Sie einfach Ihre trainingsprotokolle mit .log Erweiterung neben dem Skript, und doppelklicken Sie auf es.
    Sie können die Eingabeaufforderung so gut, aber für eine einfache verwenden, wenn ausgeführt, lädt er alle logs (*.Protokoll), die es finden kann in das aktuelle Verzeichnis.
    es zeigt auch die top 4 Genauigkeit und die Genauigkeit, die Sie erlangt wurden.

    finden Sie es hier : https://gist.github.com/Coderx7/03f46cb24dcf4127d6fa66d08126fa3b

    InformationsquelleAutor Breeze
  3. 1
    python /pathtocaffe/tools/extra/parse_log.py lenet_train.log

    Befehl erzeugt die folgende Fehlermeldung:

    usage: parse_log.py [-h] [--verbose] [--delimiter DELIMITER]
                logfile_path output_dir
parse_log.py: error: too few arguments

    Lösung:

    Für eine erfolgreiche Durchführung der "parse_log.py" Befehl, wir sollten vorbei an den beiden Argumenten:

    1. log-Datei
    2. Pfad des ausgabeverzeichnisses

    Also der richtige Befehl ist wie folgt:

    python /pathtocaffe/tools/extra/parse_log.py lenet_train.log output_dir
    • fügen Sie ein "." (ein Punkt ohne Gitterbett) am Ende von Befehl und versuchen Sie es erneut
    InformationsquelleAutor Muhammad Farooq
Schreibe einen Kommentar