Was ist ein Schwellenwert in einem Precision-Recall-Kurve?
Ich bin mir bewusst, das Konzept der Präzision sowie das Konzept von Recall. Aber ich finde es sehr schwer zu verstehen, die Vorstellung von einer 'Schwelle', das macht jeder P-R-Kurve möglich.
Vorstellen, ich habe ein Modell zu bauen, das sagt die re-vorkommen (ja oder Nein) von Krebs in Patienten mit ein paar anständige Klassifizierung Algorithmus auf relevante Merkmale. Ich spaltete meine Daten für training und Test. Können sagen, ich machte das Modell mit dem Zug von Daten und habe meine Precision und Recall Metrik mit der test-Daten.
Aber WIE kann ich zeichnen Sie ein P-R-Kurve jetzt? Auf welcher Grundlage? Ich habe nur zwei Werte, einer Präzision und einer daran erinnern. Ich habe gelesen, dass Ihr die "Schwelle", die ermöglicht es Ihnen, verschiedene precision-recall-Paare. Aber was ist die Schwelle? Ich bin noch ein Anfänger und ich bin unfähig zu begreifen, das Konzept der Schwelle.
Sehe ich in so vielen Klassifikations-Modell-Vergleiche wie die unten. Aber wie bekommen Sie die vielen Paare?
Modell-Vergleich Mit Precision-Recall-Kurve
Du musst angemeldet sein, um einen Kommentar abzugeben.
Müssen Sie zuerst entfernen Sie die 'roc' und 'auc' tags precision-recall-Kurve ist etwas anderes:
Ihre Krebs-Früherkennung beispielsweise ist eine binäre Klassifikation problem.
Ihre Prognosen basieren auf einer Wahrscheinlichkeit. Die Wahrscheinlichkeit des (nicht), Krebs.
Im Allgemeinen eine Instanz eingestuft werden als A, wenn P(A) > 0.5 (threshold-Wert). Für diesen Wert bekommen Sie Ihre Recall-Precision-pair-Mädchen auf der Grundlage der True Positives, True Negatives, False Positives und False Negatives.
Nun, wie Sie, ändern Sie Ihre 0.5-Schwelle, erhalten Sie ein anderes Ergebnis (anderes paar). Kann man schon klassifizieren, die einen Patienten als 'Krebs' für P(A) > 0.3.
Dies verringert die Präzision und erhöhen Recall. Sie würde eher sagen Sie jemandem, dass er Krebs hat, obwohl er nicht hat, um sicherzustellen, dass Patienten mit Krebs sind Sie sicher, um die Behandlung, die Sie benötigen. Dies entspricht der intuitiven trade-off zwischen TPR und FPR oder Precision und Recall oder Sensitivität und Spezifität.
Fügen wir diese Begriffe, wie Sie Sie sehen mehr oft in Biostatistik.
ROC-Kurven-und Precision-Recall-Kurven visualisieren Sie alle diese möglichen Schwellenwerte Ihrer classifier.
Sollten Sie diese Metriken, wenn die Genauigkeit allein ist nicht geeignet, Qualität zu Messen. Die Klassifizierung von allen Patienten als "nicht Krebs" wird Ihnen die höchste Genauigkeit, aber die Werte der ROC-und Precision-Recall-Kurven werden 1en und 0EN.