Keras Benutzerdefinierte Metrik für die einzelne Klasse Genauigkeit

Baue ich eine benutzerdefinierte Metrik zur Messung der Genauigkeit von einer Klasse in meiner multi-class-dataset während der Ausbildung. Ich habe Probleme bei der Auswahl der Klasse.

Werden die Ziele heißen (e.g: die Klasse 0 label ist [1 0 0 0 0] :

from keras import backend as K

def single_class_accuracy(y_true, y_pred):
    idx = bool(y_true[:, 0])              # boolean mask for class 0 
    class_preds = y_pred[idx]
    class_true = y_true[idx]
    class_acc = K.mean(K.equal(K.argmax(class_true, axis=-1), K.argmax(class_preds, axis=-1)))  # multi-class accuracy  
    return class_acc

Das Problem ist, wir haben die Verwendung von Keras Funktionen-index-Tensoren. Wie erstellen Sie einen booleschen Maske für einen tensor? Danke.

Ich bin nicht vertraut mit Keras und weiß nicht, ob Ihr code wird die Arbeit mit boolean-Masken oder explizite Indizes. Wussten Sie, werfen Sie Ihre Maske auf Typ boolean? tf.cast(binary_mask, tf.bool). Mit Theano, die Sie verwenden können bool_mask.ungleich null (), um die Indizes der boolean-Maske. Lassen Sie uns wissen, ob diese Lösung funktioniert.
Möchten Sie die Antwort akzeptieren, die mit einem Rückruf?
Nur um sicherzugehen - y_true ist 2D? was bedeutet der Zeilen und Spalten soll, die hier vertreten?

InformationsquelleAutor Chris Parry | 2017-01-04

18

Beachten Sie, dass beim reden über die Genauigkeit mit einer Klasse kann man entweder auf die folgende (nicht äquivalente) zwei Mengen:
- Die Präzision, die für die Klasse C, ist das Verhältnis der Beispiele gekennzeichnet mit Klasse C sind vorhergesagt zu haben-Klasse C.
- Die erinnern, die für die Klasse C, ist das Verhältnis der Beispiele vorhergesagt werden der Klasse C, die sind in der Tat gekennzeichnet mit Klasse C.
Anstatt das zu tun, komplexe Indizierung, können Sie nur verlassen sich auf die Maskierung für Sie die Berechnung. Vorausgesetzt, wir reden über die Präzision, hier (Wechsel zu erinnern wäre trivial).
```
from keras import backend as K

INTERESTING_CLASS_ID = 0  # Choose the class of interest

def single_class_accuracy(y_true, y_pred):
    class_id_true = K.argmax(y_true, axis=-1)
    class_id_preds = K.argmax(y_pred, axis=-1)
    # Replace class_id_preds with class_id_true for recall here
    accuracy_mask = K.cast(K.equal(class_id_preds, INTERESTING_CLASS_ID), 'int32')
    class_acc_tensor = K.cast(K.equal(class_id_true, class_id_preds), 'int32') * accuracy_mask
    class_acc = K.sum(class_acc_tensor) / K.maximum(K.sum(accuracy_mask), 1)
    return class_acc
```
Wenn Sie wollen, flexibler zu sein, können Sie auch die Klasse von Interesse sind parametriert:
```
from keras import backend as K

def single_class_accuracy(interesting_class_id):
    def fn(y_true, y_pred):
        class_id_true = K.argmax(y_true, axis=-1)
        class_id_preds = K.argmax(y_pred, axis=-1)
        # Replace class_id_preds with class_id_true for recall here
        accuracy_mask = K.cast(K.equal(class_id_preds, interesting_class_id), 'int32')
        class_acc_tensor = K.cast(K.equal(class_id_true, class_id_preds), 'int32') * accuracy_mask
        class_acc = K.sum(class_acc_tensor) / K.maximum(K.sum(accuracy_mask), 1)
        return class_acc
    return fn
```
Und verwenden Sie es als:
```
model.compile(..., metrics=[single_class_accuracy(INTERESTING_CLASS_ID)])
```
- Precision und Recall kombiniert werden können, wird diese Maßnahme genannt wird F1-score. Es ist das harmonische Mittel von precision und recall, und es ist eine Maßnahme, die von einem test der Genauigkeit.
- Es ist wichtig zu beachten Sie jedoch, dass die F1-score (sowie precision und recall) nicht wahr negativ berücksichtigt. Es ist stark davon abhängig, was genau man eigentlich tun, um wählen Sie die richtige Metrik.
- was ist class_num_true hier?
- Woops, mein Fehler, es sollte class_id_true ich denke, ich habe es geändert.
- Ich danke Ihnen sehr für Ihre Antwort, dies ist genau das, was ich brauchte. Schnelle Klärung. "Ersetzen class_id_true mit class_id_preds für Rückruf hier" << ich hatte den Eindruck, dass mit class_id_preds würde die Ausbeute Präzision Metrisch und class_id_true ergeben würde erinnern? Vielleicht könnte man klären. Danke!
- Ich denke, du hast Recht, danke für den Hinweis! Ich hoffe, es ist jetzt korrekt.
- ja, ich glaube schon. Nochmals vielen Dank.
- würde diese Funktion noch Arbeit für die Klasse arrays, die nicht zu heiß, aber bestehen nur aus Einsen und Nullen, dh [1,0,1,0,1,1]?
- Nicht wie es derzeit ist. Sie würde schön zu schneiden y_true und y_pred über die Letzte dimension an, nur mit der Klasse von Interesse.
- würden Sie mir helfen, mich hier
- können Sie geben beispielsweise der Funktion, berechnet die F1-score statt?
- Wie zu Fragen, wie zu tun Sie dasselbe für alle Klassen, die nicht für eine bestimmte eine?
InformationsquelleAutor jdehesa

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.