Was ist der Unterschied zwischen einem generative und diskriminative Algorithmus?

Bitte helfen Sie mir zu verstehen, den Unterschied zwischen einem generative und ein
diskriminative - Algorithmus, wenn man bedenkt, dass ich bin nur ein Anfänger.

InformationsquelleAutor unj2 | 2009-05-18
  1. 784

    Lassen Sie uns sagen, Sie haben Eingabedaten x und Sie wollen, klassifizieren Sie die Daten in die Etiketten y. Ein generatives Modell lernt die gemeinsame Wahrscheinlichkeitsverteilung p(x,y) und ein diskriminierender Modell lernt die bedingte Wahrscheinlichkeitsverteilung p(y|x) - die Sie Lesen sollten, als "die Wahrscheinlichkeit, dass y gegeben x".

    Hier ist ein wirklich einfaches Beispiel. Angenommen, Sie haben die folgenden Daten in der form (x,y):

    (1,0), (1,0), (2,0), (2, 1)

    p(x,y) ist

          y=0   y=1
     -----------
x=1 | 1/2   0
x=2 | 1/4   1/4

    p(y|x) ist

          y=0   y=1
     -----------
x=1 | 1     0
x=2 | 1/2   1/2

    Wenn Sie ein paar Minuten starren Sie auf diese beiden Matrizen, die Sie verstehen, den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen.

    Den Vertrieb p(y|x) ist die Natürliche Verteilung für die Klassifizierung eines gegebenen Beispiel x in einer Klasse y, das ist der Grund, warum algorithmen, die dieses Modell direkt aufgerufen werden unterscheidenden algorithmen. Generative algorithmen Modell p(x,y), die transformiert werden kann in p(y|x) durch die Anwendung der Bayes-Regel und dann für die Klassifizierung. Allerdings ist die Verteilung p(x,y) können auch für andere Zwecke verwendet werden. Zum Beispiel könnten Sie p(x,y) zu generieren wahrscheinlich (x,y) Paare.

    Aus der vorstehenden Beschreibung, könnte man denken, dass generative Modelle sind generell nützlich, und daher besser, aber es ist nicht so einfach. Dieses Papier ist eine sehr beliebte Verweis auf das Thema diskriminative vs. generative Klassifikatoren, aber es ist ziemlich schwer zu gehen. Der gesamte Kern ist, dass die diskriminative Modelle in der Regel übertreffen die generative Modelle für die Klassifizierung von Aufgaben.

    • Vielen Dank für das Papier. Der Autor ist heute professor an der Stanford und hat wunderbare Ressourcen in stanford.edu/class/cs229/materials.html
    • Eine schöne Erklärung auch von Andrew Ng hier
    • Beim starren auf die Matrizen beachten Sie, dass in den ersten ein, werden alle Einträge Summe bis zu 1,0, während in der zweiten eine jede Zeile, die Summen bis zu einem. Dadurch wird die Geschwindigkeit der Aufklärung (und reduzieren Verwirrung)
    • Ein Hinweis von Andrew Ng ist auch hier sehr nützlich: cs229.stanford.edu/notes/cs229-notes2.pdf
    • Das ursprüngliche Papier link ist Weg, hier ist eine andere: cs.cmu.edu/~aarti/Klasse/10701/Lesungen/NgJordanNIPS2001.pdf
    • Ich glaube, dass Sie falsch dar, dass Papier. Die Aussage, dass die diskriminative war, wahrscheinlich aufgrund Vapnik. Das Papier selbst ist zu sagen, dass das diskriminierend ist nicht immer besser, und es hängt von der Regelung. Allerdings, das Papier sieht nur Logistische Regression vs. Naive Bayes.
    • Dies ist schwer auf Papier zu Lesen. Wenn Sie möchten, die etwas zugänglicher Kern - haben Sie einen Blick auf 10-601 von Tom Mitchell.
    • "das ist der Grund, warum algorithmen, die dieses Modell direkt aufgerufen werden unterscheidenden algorithmen", immer noch nicht sicher, warum p(y|x) bedeutet, dass algorithmen, die Modell sind sogenannte "diskriminative Modelle".
    • Dieser ist alt, aber ich dachte, ich würde hinzufügen, dass auch dachte, das gewählt wurde, die beste Antwort, eine Sache weggelassen wurde, die entscheidend ist, zu verstehen, warum einer besser als der andere, je nach der Größe des Datensatzes. Was vergessen wurde zu erwähnen ist, dass für eine diskriminative Modell zu übertreffen, ein generatives Modell, muss der Datensatz groß genug für die LR haben eine bessere Leistung, generative Modelle neigen zu übertreffen die diskriminative Modelle mit kleinen Datenmengen.

    InformationsquelleAutor Stompchicken
  2. 285

    Einen generative Algorithmus Modelle, wie die Daten generiert wurden, um zu kategorisieren, ein signal. Es stellt sich die Frage: basierend auf meine generation Annahmen, welche Kategorie am ehesten zu generieren, dieses signal?

    Einen diskriminative Algorithmus nicht kümmern, wie die Daten generiert wurden, ist es einfach kategorisiert, einem bestimmten signal.

    • Diese Antwort verwirrt mich. Beide Klassen von algorithsm fallen in die Klasse der überwachten Lernalgorithmen, die lernen, ein Modell beschriftet Trainings-Daten zur Ableitung einer Funktion zur Vorhersage, anderen Daten. Die discrimitive Algorithmus, wie Sie es beschreiben, klingt es, als wenn es nicht ein Modell erstellen, ist das richtig? Ich würde mich freuen wenn Ihr enhence deine Antwort in dieser Hinsicht.
    • Ein generativer Algorithmus Modelle, wie Sie die Daten "erzeugt", also Fragen Sie ihn "was ist die Wahrscheinlichkeit, dass diese oder dieser Klasse erzeugten Instanz?" und wählen Sie die mit der besseren Wahrscheinlichkeit. Ein diskriminierender Algorithmus verwendet die Daten zur Erstellung einer Entscheidung Grenze, so dass Sie danach Fragen, "welche Seite die Entscheidung, die Grenze ist in diesem Beispiel auf?" Damit es nicht ein Modell erstellen, wie die Daten generiert wurden, macht es ein Modell von dem, was es denkt, die Grenze zwischen den Klassen aussieht.
    • So ein generatives Modell, wie Naive Bayes, nicht eine Entscheidung, die Grenze?
    • So generative Modelle scheinen, wie Sie besser für die Interpretierbarkeit?
    InformationsquelleAutor Carlos Rendon
  3. 151

    Sich vorstellen, Ihre Aufgabe ist es, zu klassifizieren, eine Sprache zu einer Sprache.

    Können Sie es tun, indem Sie entweder:

    1. lernen jeder Sprache, und dann klassifizieren Sie mit dem wissen, dass du nur gewonnen

    oder

    1. Bestimmung der Differenz in der sprachlichen Modelle ohne das erlernen der Sprachen, und dann die Klassifizierung der Rede.

    Die erste ist die generative Ansatz und der zweite ist der diskriminative Ansatz.

    Überprüfen diese Referenz für weitere Informationen: http://www.cedar.buffalo.edu/~srihari/CSE574/Diskriminierend-Generative.pdf.

    • Ist es nicht Umgekehrt? Wenn man bedenkt, dass Sie die Sprache gelernt, arbeiten Sie auf einer bedingten Verteilung und so sollte es ein diskriminierender Ansatz?
    • Ich denke, es ist die andere Weise herum, als auch nach dem Lesen der Antworten - Beispiel aus der Vorlesung Notizen von CS299 von Ghrua
    InformationsquelleAutor madCode
  4. 124

    In der Praxis, die Modelle verwendet werden, wie folgt.

    In diskriminative Modelle, um vorherzusagen, das label y von der Ausbildung Beispiel x müssen Sie bewerten:

    Was ist der Unterschied zwischen einem generative und diskriminative Algorithmus?

    die nur wählt, was ist die wahrscheinlichste Klasse y angesichts x. Es ist so, als würden wir versuchen, Modell die Entscheidung, die Grenze zwischen den Klassen. Dieses Verhalten ist sehr deutlich in neuronalen Netzen, wo die berechneten GEWICHTE kann gesehen werden als ein Komplex geformter Kurve zu isolieren, die Elemente einer Klasse in den Raum.

    Nun, mithilfe der Bayes-Regel, lassen Sie uns ersetzen die Was ist der Unterschied zwischen einem generative und diskriminative Algorithmus?. Da sind Sie einfach nur interessiert an der arg max, können Sie wischen Sie die Nenner, das wird das gleiche für jedes y. So bleibt man mit

    Was ist der Unterschied zwischen einem generative und diskriminative Algorithmus?

    ist die Gleichung, die Sie verwenden in generative Modelle.

    Während im ersten Fall hatte die bedingte Wahrscheinlichkeitsverteilung p(y|x), die modelliert, die Grenze zwischen den Klassen, in der zweiten hatte Sie die gemeinsame Wahrscheinlichkeitsverteilung p(x, y), da p(x, y) = p(x | y) p(y), die explizit Modelle der tatsächlichen Verteilung der einzelnen Klassen.

    Mit der gemeinsamen Verteilungsfunktion gegeben, ein y können Sie berechnen ("generieren"), seinen jeweiligen x. Aus diesem Grund werden Sie als "generative" Modelle.

    • Mit dieser Argumentation, sind nicht die generative und diskriminative Modell gleich, wenn Sie angewendet werden, um die gleiche Verteilung? Warum gibt es einen Unterschied in der Klassifizierung Verhalten dann? Oder sind Sie nur gleich in diesem maximum-likelihood-Kontext?
    • Zu sagen, ob Sie "gleich" sind oder nicht, müssen wir zunächst definieren, was wir damit meinen. Das sind viele Dinge gemeinsam, aber der stärkste Unterschied ist die verwendete Strategie: Modell der Verteilung (generative) vs. Vorhersage einer Klasse, unabhängig von der Verteilung (diskriminative) -- denken KNN für eine Sekunde, für ein Beispiel.
    InformationsquelleAutor Saul Berardo
  5. 79

    Hier der wichtigste Teil aus der lecture notes von CS299 (von Andrew Ng) in Bezug auf das Thema, die wirklich hilft mir, zu verstehen, den Unterschied zwischen diskriminative und generative learning-algorithmen.

    Angenommen, wir haben zwei Klassen von Tieren, Elefanten (y = 1) und Hund (y = 0). Und x ist der feature-Vektor der Tiere.

    Gegeben eine trainingsmenge, ein Algorithmus wie der logistischen regression oder der perceptron-Algorithmus (im Grunde) versucht zu finden, eine gerade Linie — das ist eine Entscheidung, die Grenze — trennt die Elefanten und die Hunde. Dann, zu klassifizieren
    ein neues Tier als entweder ein Elefant oder ein Hund, es wird überprüft, auf welcher Seite der
    Entscheidung-Grenze fällt, und macht sich auf die Vorhersage entsprechend. Wir nennen diese unterscheidenden Lern-Algorithmus.

    Hier ist ein anderer Ansatz. Erste, Blick auf die Elefanten, die wir bauen können
    ein Modell, wie Elefanten Aussehen. Dann, Blick auf die Hunde, die wir bauen können
    separaten Modell, wie die Hunde Aussehen. Schließlich, zu klassifizieren, ein neues Tier,
    wir können mit der neuen Tier gegen das Elefanten-Modell und passen Sie es gegen
    der Hund-Modell, um zu sehen, ob das neue Tier sieht mehr wie die Elefanten
    oder mehr wie die Hunde, die wir gesehen hatten wir in der Ausbildung gesetzt werden. Wir nennen diese generative learning Algorithmus.

    InformationsquelleAutor Ghrua
  6. 32

    In der Regel, es ist eine Praxis im machine-learning-community nicht etwas lernen, was Sie nicht wollen. Betrachten Sie beispielsweise eine Klassifizierung problem, wo das Ziel ist die Zuordnung y-labels, die zu einer gegebenen x-Eingang. Wenn wir das generative Modell

    p(x,y)=p(y|x).p(x)

    wir haben zu Modell p(x), die irrelevant für die Aufgabe in der hand. Praktische Einschränkungen wie Daten Kargheit zwingt uns Modell p(x) mit einigen schwachen Unabhängigkeit Annahmen. Daher haben wir intuitiv verwenden diskriminative Modelle für Klassifikation.

    InformationsquelleAutor Sriwantha Attanayake
  7. 20

    Neben einer informativen Punkt, dass geht auch mit der Antwort von StompChicken oben.

    Den grundlegende Unterschied zwischen diskriminative Modelle und generative Modelle ist:

    Diskriminative Modelle lernen die (hart oder soft) Grenze zwischen den Klassen

    Generative Modelle Modell der Verteilung der einzelnen Klassen

    Edit:

    Ein Generatives Modell, das eine erzeugen können Daten. Es Modelle, die sowohl die Funktionen und die Klasse (d.h. die vollständigen Daten).

    Wenn wir das Modell P(x,y): ich kann mit dieser Wahrscheinlichkeitsverteilung Daten generieren, die Punkte - und somit alle algorithmen Modellierung P(x,y) sind generativ.

    ZB. der generative Modelle

    • Naive Bayes-Modelle P(c) und P(d|c) - wo c ist die Klasse und die d ist der feature-Vektor.

      Auch P(c,d) = P(c) * P(d|c)

      Daher, Naive Bayes in irgendeiner form Modelle, P(c,d)

    • Bayes-Netz

    • Markov-Netze

    Einer diskriminierenden Modell ist das eine, die können nur verwendet werden, um unterscheiden/klassifizieren Sie die Daten Punkte.
    Sie benötigen nur ein Modell P(y|x) in solchen Fällen (D. H. Wahrscheinlichkeit der Klasse der feature-Vektor).

    ZB. der diskriminative Modelle:

    • Logistische regression

    • Neuronale Netze

    • Conditional random fields

    Im Allgemeinen, generative Modelle zu Modell viel mehr als die diskriminative Modelle und sind daher manchmal nicht so effektiv. Als eine Angelegenheit von der Tat, die meisten (nicht sicher, ob alle) unüberwachten Lernalgorithmen wie clustering etc aufgerufen werden kann, generative, da Sie Modell P(d) (und es keine Klassen mehr gibt:P)

    PS: ein Teil der Antwort ist entnommen aus Quelle

    InformationsquelleAutor Prakhar Agrawal
  8. 19

    Die verschiedenen Modelle sind summiert in der Tabelle unten:
    Was ist der Unterschied zwischen einem generative und diskriminative Algorithmus?

    InformationsquelleAutor Ravi G
  9. 0

    Meine zwei Cent:
    Diskriminative Ansätze markieren Unterschiede
    Generative Ansätze konzentrieren Sie sich nicht auf die Unterschiede, Sie versuchen, ein Modell zu bauen, die Vertreter der Klasse.
    Es gibt eine überlappung zwischen den beiden.
    Im Idealfall werden beide Ansätze verwendet werden sollte: man wird nützlich sein, um Gemeinsamkeiten zu finden und die andere nützlich finden dis-ähnlichkeiten.

    InformationsquelleAutor Arun
  10. 0

    Einen generativen Algorithmus Modell-lernen, völlig aus dem training-Daten und Vorhersagen, die Reaktion.

    Einer diskriminierenden Algorithmus Aufgabe ist es nur, zu klassifizieren oder unterscheiden zwischen den 2 Ergebnissen.

    • Was ich bekomme ist die generative Modell ist das betreute lernen basiert, während unterscheidende Modell basiert auf einem unüberwachten Lernverfahren. Bin Ich Im Recht?
    • Irgendwie aber auch irgendwie nicht. y ist immer das Ziel, und notwendig als Teil der input-Daten, so dass beide überwacht werden. Generative scheint unbeaufsichtigt, weil der erste Schritt ist, um die vollständige Verteilung (in allen vars, nicht in Betracht, y als spezielle). Wenn Sie es gestoppt, und behandeln Sie nicht y als speziellen dann, dass ein Teil von sich selbst ist unbeaufsichtigt.
    • kann ich Sie bitten, zu teilen, Papier / Hinweise / Verweis auf den Unterschied der beiden? eigentlich bin ich etwas verwirrt über dieses Konzept. Vielen Dank im Voraus
    • Suche auf Cross-Validiert.SE (die stats/ML SE-site), insbesondere Generative vs. Diskriminative oder Generative vs. diskriminative Modelle in einem bayesschen Kontext. Elementare Beispiele Naive Bayes ist die generative, die Logistische Regression ist diskriminierend. Mehr Beispiele von sowohl.
    • vielen Dank für die Bevorzugung. hoffe, das löst sich mein Verwirrungen
    InformationsquelleAutor Nages
  11. 0

    Alle bisherigen Antworten sind toll, und ich möchte die plug-in einen Punkt.

    Vom generativen Algorithmus Modelle, können wir herleiten Verteilung; während wir nur erhalten, die bedingte Verteilung P(Y|X) von der diskriminierenden Algorithmus Modelle(oder wir können sagen, Sie sind nur nützlich für die Unterscheidung der Y-label), und das ist, warum es heißt diskriminierend Modell. Die diskriminative Modell nicht annehmen, dass der X sind unabhängig gegeben Y($X_i \perp X_{ -i} | Y$) und ist daher in der Regel stärker für eine Berechnung, nach der bedingten Verteilung.

    InformationsquelleAutor Lerner Zhang
Schreibe einen Kommentar