Wie zu ernähren caffe multi-label-Daten im HDF5-format?

Will ich mit caffe mit einem Vektor-label, nicht integer. Ich habe einige Antworten, und es scheint im HDF5 ist ein besserer Weg. Aber dann bin ich stucked mit Fehler wie:

accuracy_layer.cpp:34] Check failed: outer_num_ * inner_num_ == bottom[1]->count() (50 und 200) Anzahl der Etiketten, die müssen übereinstimmen, Anzahl der Vorhersagen; z.B., wenn label-Achse == 1 ist, und Vorhersage-Form ist (N, C, H, W), label count (Anzahl der Etiketten) müssen N*H*W, mit integer-Werten in {0, 1, ..., C-1}.

mit im HDF5 erstellt:

f = h5py.File('train.h5', 'w')
f.create_dataset('data', (1200, 128), dtype='f8')
f.create_dataset('label', (1200, 4), dtype='f4')

Mein Netzwerk wird erzeugt durch:

def net(hdf5, batch_size):
    n = caffe.NetSpec()
    n.data, n.label = L.HDF5Data(batch_size=batch_size, source=hdf5, ntop=2)
    n.ip1 = L.InnerProduct(n.data, num_output=50, weight_filler=dict(type='xavier'))
    n.relu1 = L.ReLU(n.ip1, in_place=True)
    n.ip2 = L.InnerProduct(n.relu1, num_output=50, weight_filler=dict(type='xavier'))
    n.relu2 = L.ReLU(n.ip2, in_place=True)
    n.ip3 = L.InnerProduct(n.relu1, num_output=4, weight_filler=dict(type='xavier'))
    n.accuracy = L.Accuracy(n.ip3, n.label)
    n.loss = L.SoftmaxWithLoss(n.ip3, n.label)
    return n.to_proto()

with open(PROJECT_HOME + 'auto_train.prototxt', 'w') as f:
f.write(str(net('/home/romulus/code/project/train.h5list', 50)))

with open(PROJECT_HOME + 'auto_test.prototxt', 'w') as f:
f.write(str(net('/home/romulus/code/project/test.h5list', 20)))

Es scheint, ich sollte erhöhen, label-Nummer und die Dinge in einem integer sondern als array, aber wenn ich das mache, caffe klagt Anzahl der Daten und die Beschriftung ist nicht gleich, dann existiert.

So, was ist das richtige format zu füttern multi-label-Daten?

Außerdem bin ich also Fragen, warum niemand einfach nur schreiben das Daten-format wie Sie im HDF5-Karten zu caffe-blobs?

sollte nicht data von der Art f4?
Wechsel auf die f4-Taste ändert nicht den Fehler.
Wahrscheinlich eine wertvolle Ressource: stackoverflow.com/questions/33112941/...
Danke, dass der Verlust Ebene ist das, was ich brauche.

InformationsquelleAutor Romulus Urakagi Ts'ai | 2015-10-15

Antwort auf diese Frage ist der Titel:

Die im HDF5-Datei sollten zwei datasets in root, mit dem Namen "data" und "label", beziehungsweise. Die Form ist (data amount, dimension). Ich bin mit nur einer dimension data, also ich bin mir nicht sicher, was die Reihenfolge der channel, width, und height. Vielleicht ist es egal. dtype werden sollte, float oder double.

Einen Beispiel-code erstellen-Zug-set mit h5py ist:

import h5py, os 
import numpy as np 

f = h5py.File('Zug.h5', 'w') 
# 1200-Daten, die jeweils eine 128-dim-Vektor 
f.create_dataset('data', (1200, 128), dtype='f8') 
# Data, labels, jeder ist ein 4-dim-Vektor 
f.create_dataset('label', (1200, 4), dtype='f4') 

# Füllen Sie etwas mit festen Muster 
# Regeln Werte zwischen 0 und 1, oder SigmoidCrossEntropyLoss wird nicht funktionieren 
for i in range(1200): 
a = np.leer(128) 
wenn i % 4 == 0: 
for j in range(128): 
a[j] = j /128.0; 
l = [1,0,0,0] 
elif i % 4 == 1: 
for j in range(128): 
a[j] = (128 - j) /128.0; 
l = [1,0,1,0] 
elif i % 4 == 2: 
for j in range(128): 
a[j] = (j % 6) /128.0; 
l = [0,1,1,0] 
elif i % 4 == 3: 
for j in range(128): 
a[j] = (j % 4) * 4 /128.0; 
l = [1,0,1,1] 
f['data'][i] = a 
f['label'][i] = l 

f.close()

Außerdem, die Genauigkeit der layer ist nicht notwendig, einfach zu entfernen, ist es in Ordnung. Nächstes problem ist der Verlust Ebene. Da SoftmaxWithLoss hat nur einen Ausgang (index der dimension mit max-Wert), kann es nicht verwendet werden für multi-label-problem. Danke, Adian und Shai, ich finde SigmoidCrossEntropyLoss ist gut in diesem Fall.

Unten ist der volle code-von Daten-Erstellung, Schulung Netzwerk, und erste test-Ergebnis:

main.py (geändert von caffe lanet Beispiel)

import os, sys 

PROJECT_HOME = '.../project/' 
CAFFE_HOME = '.../caffe/' 
os.chdir(PROJECT_HOME) 

sys.Pfad.insert(0, CAFFE_HOME + 'caffe/python') 
import caffe, h5py 

from pylab import * 
von caffe-import-Schichten als L 

def net(im HDF5, batch_size): 
n = caffe.NetSpec() 
n.Daten, n ist.label = L. HDF5Data(batch_size=batch_size, Quelle=im HDF5, ntop=2) 
n.ip1 = L. InnerProduct(n.Daten, num_output=50, weight_filler=dict(type='Xaver')) 
n.relu1 = L. aufgrund der Kr(n.ip1, in_place=True) 
n.ip2 = L. InnerProduct(n.relu1, num_output=50, weight_filler=dict(type='Xaver')) 
n.relu2 = L. aufgrund der Kr(n.ip2, in_place=True) 
n.ip3 = L. InnerProduct(n.relu2, num_output=4, weight_filler=dict(type='Xaver')) 
n.Verlust = L. SigmoidCrossEntropyLoss(n.ip3, n.label) 
return n.to_proto() 

mit open(PROJECT_HOME + 'auto_train.prototxt', 'w') as f: 
f.write(str(net(PROJECT_HOME + " Zug.h5list', 50))) 
mit open(PROJECT_HOME + 'auto_test.prototxt', 'w') as f: 
f.write(str(net(PROJECT_HOME + 'test.h5list', 20))) 

caffe.set_device(0) 
caffe.set_mode_gpu() 
solver = caffe.SGDSolver(PROJECT_HOME + 'auto_solver.prototxt') 

solver.net.forward() 
solver.test_nets[0].forward() 
solver.Schritt(1) 

Salpeter = 200 
test_interval = 10 
train_loss = zeros(Salpeter) 
test_acc = zeros(int(np.ceil(Salpeter * 1.0 /test_interval))) 
print len(test_acc) 
output = zeros((Salpeter, 8, 4)) 

# Die wichtigsten solver-Schleife 
für den es-Bereich(Salpeter): 
solver.Schritt(1) # SGD von Caffe 
train_loss[es] = solver.net.blobs['Verlust'].Daten 
solver.test_nets[0].forward(start='Daten') 
output [] = solver.test_nets[0].blobs['ip3'].data[:8] 

wenn es % test_interval == 0: 
print 'Iteration', 'Test läuft...' 
richtige = 0 
Daten = solver.test_nets[0].blobs['ip3'].Daten 
label = solver.test_nets[0].blobs['label'].Daten 
für test_it in range(100): 
solver.test_nets[0].forward() 
# Positive Werte anzeigen zu label 1, während negative Werte anzeigen zu label 0 
for i in range(len(Daten)): 
for j in range(len(data[i])): 
falls Daten[i][j] > 0 und label[i][j] == 1: 
richtig += 1 
elif Daten[i][j] %lt;= 0 und label[i][j] == 0: 
richtig += 1 
test_acc[int(it /test_interval)] = richtig * 1.0 /(len(data) * len(data[0]) * 100) 

# Train und test gemacht, bestens convege graph 
_, ax1 = Nebenhandlungen() 
ax2 = ax1.twinx() 
ax1.plot(arange(Salpeter), train_loss) 
ax2.plot(test_interval * arange(len(test_acc)), test_acc, 'r') 
ax1.set_xlabel('iteration') 
ax1.set_ylabel ("train-Verlust") 
ax2.set_ylabel('test-Genauigkeit') 
_.savefig('konvergieren.png') 

# Überprüfen Sie das Ergebnis der letzten charge 
print-solver.test_nets[0].blobs['ip3'].Daten 
print-solver.test_nets[0].blobs['label'].Daten

h5list Dateien einfach Pfade enthalten, h5-Dateien in jeder Zeile:

Zug.h5list

/home/foo/bar/project/train.h5

test.h5list

/home/foo/bar/project/test.h5

und die solver:

auto_solver.prototxt

train_net: "auto_train.prototxt" 
test_net: "auto_test.prototxt" 
test_iter: 10 
test_interval: 20 
base_lr: 0.01 
Impuls: 0.9 
weight_decay: 0.0005 
lr_policy: "WR" 
gamma: 0.0001 
Leistung: von 0,75 
Anzeige: 100 
max_iter: 10000 
snapshot: 5000 
snapshot_prefix: "sed" 
solver_mode: GPU

Konvergieren graph:
Wie zu ernähren caffe multi-label-Daten im HDF5-format?

Letzten charge Ergebnis:

[[ 35.91593933 -37.46276474 -6.2579031 -6.30313492] 
[ 42.69248581 -43.00864792 13.19664764 -3.35134125] 
[ -1.36403108 1.38531208 2.77786589 -0.34310576] 
[ 2.91686511 -2.88944006 4.34043217 0.32656598] 
... 
[ 35.91593933 -37.46276474 -6.2579031 -6.30313492] 
[ 42.69248581 -43.00864792 13.19664764 -3.35134125] 
[ -1.36403108 1.38531208 2.77786589 -0.34310576] 
[ 2.91686511 -2.88944006 4.34043217 0.32656598]] 

[[ 1. 0. 0. 0.] 
[ 1. 0. 1. 0.] 
[ 0. 1. 1. 0.] 
[ 1. 0. 1. 1.] 
... 
[ 1. 0. 0. 0.] 
[ 1. 0. 1. 0.] 
[ 0. 1. 1. 0.] 
[ 1. 0. 1. 1.]]

Ich denke, dieser code hat noch viele Dinge zu verbessern. Jeder Vorschlag wird sehr geschätzt.

Können Sie erklären, wie das label definiert ist, ist es ein binäres system?
Ja, ich habe nur versucht, binären system. AUF ist 1 und AUS ist 0.
Was Sie caffe-version? Es ist ein Fehler für mich ImportError: cannot import name layers
Ich derzeit nicht über die Maschine, das sollte die neueste version on Oct 2015.
warum müssen wir laufen test_net 100-fache bei der Berechnung der Genauigkeit? Warum das Ergebnis dieser 100 läuft, auch anders sein?

InformationsquelleAutor Romulus Urakagi Ts'ai

1

Ihre Richtigkeit Ebene keinen Sinn macht.

Die Art, Genauigkeit Schicht arbeitet: Café Genauigkeit-Schicht erwartet, dass Sie zwei Eingänge

(i) eine vorhergesagte Wahrscheinlichkeit Vektor und

(ii) Boden-Wahrheit entsprechenden scalar integer label.

Die Genauigkeit Schicht als prüft, ob die Wahrscheinlichkeit der vorhergesagten label ist in der Tat die maximale (oder innerhalb top_k).

Wenn Sie daher zu klassifizieren C verschiedenen Klassen, Ihre Eingaben werden N-von-C (wo N ist-batch-Größe) Eingang vorhergesagten Wahrscheinlichkeiten für N Proben aus jeder der C Klassen, und N labels.

Die Art, wie es definiert ist, in Ihrem Netz: Eingabe Genauigkeit Schicht N-by-4-Vorhersagen und N-by-4 Etiketten-das macht keinen Sinn für caffe.

Es scheint, dass ich falsch verstanden Genauigkeit Schicht. Aber wenn ich es löschen, den Verlust Schicht wieder die gleichen Fehler zu mir. Vielleicht brauche ich einen anderen Verlust Schicht für Vektor-label? Ich kann nicht finden, eine Liste von Verlust-Layer zur Verfügung.
Ich habe versucht, EuclideanLoss (ohne Genauigkeit der Schicht), aber es gibt massive nan.
ist es NaN für die sehr Anfang? es könnte sein, dass der Verlust ist zu hoch, wodurch Sie Farbverläufe zu "explodieren" werfen Sie Ihr training entfernt. Versuchen Sie, deutlich Verringerung der loss_weight der Verlust Ebene.
Ja, es ist NaN. Ich werde das ausprobieren, vielen Dank!
Durchaus Dinge, die sich unterscheiden, ich poste eine Antwort mit vollständigen codes.

InformationsquelleAutor Shai

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.