Was ist y_true und y_pred beim erstellen einer benutzerdefinierten Metrik in Keras?

Ich umsetzen will, meine benutzerdefinierte Metrik in Keras. Laut der Dokumentation, meine benutzerdefinierte Metrik sollte definiert werden als eine Funktion, die als Eingabe zwei Tensoren, y_pred und y_true aus und liefert eine single-tensor-Wert.

Aber ich bin verwirrt, was genau enthalten sind, werden diese Tensoren y_pred und y_true wenn die Optimierung läuft. Es ist nur ein Datenpunkt? Ist es der gesamte Stapel? Das ganze Epoche (vermutlich nicht)? Gibt es eine Möglichkeit um diese Tensoren' Formen?

Kann jemand darauf, um eine Vertrauenswürdige Stelle, wo ich diese Informationen erhalten? Jede Hilfe würde geschätzt werden. Nicht sicher, ob relevant, aber ich bin mit TensorFlow backend.

Dinge, die ich bisher ausprobiert, um diese zu beantworten:

  • Überprüfung der Keras Metriken Dokumentation (keine Erklärung darüber, was diese Tensoren sind).
  • Überprüfung der source-code für die Keras Metriken und versuchen diese zu verstehen, Tensoren, indem man die Keras Umsetzung für die anderen Metriken (Dies scheint darauf hinzuweisen, dass y_true und y_pred haben die Etiketten für einen ganzen Stapel, aber ich bin mir nicht sicher).
  • Lesen dieser stackoverflow-Fragen: Eins, Zwei, Drei, und andere (keiner meine Frage beantworten, die meisten sind zentriert auf dem OP nicht klar verstehen den Unterschied zwischen einem tensor und die Werte berechnet, die tensor während der Sitzung).
  • Drucken der Werte von y_true und y_pred während der Optimierung durch die Definition einer Metrik wie diese:
    def test_metric(y_true, y_pred):
        y_true = K.print_tensor(y_true)
        y_pred = K.print_tensor(y_pred)
        return y_true - y_pred

(leider sind diese nicht alles drucken während der Optimierung).

InformationsquelleAutor JLagana | 2017-10-10
  1. 26

    y_true und y_pred

    Den tensor y_true ist die wahre-Daten - (oder Ziel, ground truth), passieren Sie die Pass-Methode.

    Es ist eine Umwandlung der numpy-array y_train in ein tensor ist.

    Den tensor y_pred ist der Daten vorhergesagt (berechnet, output), die von Ihrem Modell.

    In der Regel, sowohl y_true und y_pred haben genau die gleiche Form. Ein paar der Verluste, wie die lichten lieben, akzeptieren, können Sie mit verschiedenen Formen.

    Die Form y_true

    Es enthält einen ganzen Stapel. Seine erste dimension ist immer die batch-Größe, und es muss vorhanden sein, auch wenn der Stapel hat nur ein element.

    Zwei sehr einfache Möglichkeiten, die Form zu finden, von y_true sind:

    • überprüfen Sie Ihre true/Ziel-Daten: print(Y_train.shape)
    • überprüfen Sie Ihre model.summary() und sehen Sie die Letzte Ausgabe

    Aber seine ersten dimension werden die batch-Größe.

    Also, wenn Ihre Letzte Schicht Ausgänge (None, 1) die Form y_true ist (batch, 1). Wenn die Letzte Schicht Ausgänge (None, 200,200, 3), dann y_true wird (batch, 200,200,3).

    Benutzerdefinierte Metriken und-Verlust-Funktionen

    Unfotunately, drucken benutzerdefinierte Metriken wird nicht verraten Ihre Inhalte.
    Sie können Ihre Formen mit print(K.int_shape(y_pred)) zum Beispiel.

    Denken Sie daran, dass diese Bibliotheken den ersten "kompilieren ein graph", später dann "läuft es mit Daten". Wenn Sie definieren, Ihren Verlust, Sie sind in der compile-phase und Fragen für Daten braucht das Modell zu laufen.

    Aber selbst wenn das Ergebnis Ihres metric multidimensional ist, keras wird automatisch Wege finden, um die Ausgabe einer einzelnen skalaren für die Metrik. (Nicht sicher, was ist die Bedienung, aber sehr wohl ein K.mean() unter dem Tisch versteckt).

    Quellen. Nachdem Sie gewöhnen keras, dieses Verständnis wird natürlich aus, einfach zu Lesen in diesem Artikel:

    y_true: Wahr labels. Theano/TensorFlow tensor.

    y_pred: Vorhersagen. Theano/TensorFlow tensor der gleichen Form, wie y_true.

    Wahr Etiketten bedeuten true/Ziel-Daten. Labels wird einem schlecht gewählten Wort hier, es ist eigentlich nur "Etiketten" für die Klassifizierung von Modellen.

    Prognosen bedeuten die Ergebnisse des Modells.

    • Ich habe eine Frage bezüglich y_true. Meine Trainingsdaten (numpy-array) hat die Form (100,). Jedoch, innerhalb einer Metrik, z.B. der Genauigkeit, es hat die Form (TensorShape([Dimension(None), Dimension(None)]). Dann, in der keras Genauigkeit Metrik berechnen K. max(y_true, Achse=-1). Was ist die zweite dimension? Warum nehmen Sie das argmax über diese dimension statt der ersten?
    • Wenn "yTrain". Ist (100,), ist es wahrscheinlich verändert es (100,1). Diese Genauigkeit Metrik setzt Sie mit einer heißen Klassen.
    • Okay. Also, wenn Sie nicht mit einem hot-Klassen, die ich ändern müsste, die Richtigkeit Berechnung, um K.max(y_true, axis=0)?
    • Wir müssen verstehen, was Ihre Daten zu beantworten. Ist es eine binäre (0 oder 1) Ergebnis? Wenn dem so ist, können Sie binary_crossentropy als Verlust der Funktion, und keras automatisch mit einer Genauigkeit geeignet für, dass, basierend auf K.round(y_pred). - github.com/fchollet/keras/blob/master/keras/metrics.py
    • Kann jemand uns sagen, wie implementieren Sie benutzerdefinierte Metriken, die Berechnung Mittelwert(y_pred - y_true)? Ich möchte nur Durchschnittliche Wert der Differenz zwischen dem vorhergesagten Wert und der wahre Wert
    • Verwenden metrics=['mae'] (mittlerer absoluter Fehler), oder verwenden Sie def metr(true, pred): return K.mean(pred-true) mit metrics=[metr]
    • Ich möchte sicher sein, wenn y_pred hat die gleiche Form wie y_true aus dem letzten Abschnitt Ihres Kommentars. E. g. wenn mein Modell Ausgabe y_pred Form [None, seq_length, feature_size] dann y_true ist auch ein 3-D-tensor (geprüft) jedoch gebe ich nur 2-D-tensor in fit Methode. Also der Letzte Kommentar sollte gelesen werden als y_true hat die Form derselben als y_pred.
    • "Beide y_true und y_pred haben genau die gleiche Form, immer." Über alle Dimensionen hinweg? E. g., in dieser Frage (stackoverflow.com/q/58386664/829332), y_pred ist (Keine, 6), aber (ich übernommen, vielleicht zu Unrecht) y_true ist (Keine, 1).
    • Gut, therer sind Verluste akzeptieren, dass eine andere y_true, vor allem die "sparse" - Typen. Die übliche ist eine exakte Form, aber.

    InformationsquelleAutor Daniel Möller
  2. 1

    y_true ist der wahre Wert (Etiketten). und y_pred ist-Werte, die Ihre NN-Modell vorhergesagt.

    Die Größe (Form) der Tensoren ist determent von der Größe des batches (nb_batches).

    • Ausarbeiten könnte Ihre Antwort ein bisschen mehr sein? Lassen Sie uns sagen, dass die Ausgabe von meinem classifier Netzwerk ist N-dimensional (d.h. pmf für N Klassen), und mein batch-Größe ist B. Dann die Form, - e.g y_true wäre (N,B) oder (B,N)? Oder etwas anderes?
    • Auch, können Sie zeigen Sie auf alle Verweise, die zu unterstützen Sie Ihre Aussage?
    InformationsquelleAutor Paddy
Schreibe einen Kommentar