Ausreißererkennung im data mining

Ich beschränke mich auf das, was ich denke, ist wichtig zu geben, einige Hinweise über jede Ihrer Fragen, denn hier ist das Thema eine Menge von Lehrbüchern, und Sie könnte wohl besser angegangen werden in separaten Fragen.

1. Ich würde nicht mit k-means für das Auffinden von Ausreißern in einem multivariaten Datensatz, aus dem einfachen Grund, dass der k-means-Algorithmus ist nicht gebaut für diesen Zweck: Sie werden immer am Ende eine Lösung, minimiert die total-in-der-cluster Quadratsumme (und damit Maximierung der zwischen-cluster-SS, weil die Gesamtabweichung fest) und die Ausreißer(N) will nicht unbedingt, dass Sie Ihre eigenen cluster. Betrachten Sie das folgende Beispiel in R:

   set.seed(123)
   sim.xy <- function(n, mean, sd) cbind(rnorm(n, mean[1], sd[1]),
                                         rnorm(n, mean[2],sd[2]))
   # generate three clouds of points, well separated in the 2D plane
   xy <- rbind(sim.xy(100, c(0,0), c(.2,.2)),
               sim.xy(100, c(2.5,0), c(.4,.2)),
               sim.xy(100, c(1.25,.5), c(.3,.2)))
   xy[1,] <- c(0,2)     # convert 1st obs. to an outlying value
   km3 <- kmeans(xy, 3) # ask for three clusters
   km4 <- kmeans(xy, 4) # ask for four clusters
   

   Wie gesehen werden kann, in die nächste Figur, die abgelegenen Wert ist, nie wieder als solche: Es wird immer gehören Sie zu den anderen Clustern.

   

   Eine Möglichkeit, jedoch wäre die Verwendung eines zwei-Stufen-Ansatz, wo das entfernen extremale Punkte (hier definiert als Vektor-weit Weg von Ihrer cluster-centroide) in einer iterativen Weise, wie beschrieben in folgender Publikation: Die Verbesserung der K-Means durch Ausreißer Entfernen (Hautamäki et al.).

   Diese etwas ähnlichkeit mit dem, was geschieht in der genetischen Untersuchungen zum erkennen und entfernen von Personen, die eine Genotypisierung Fehler, oder Einzelpersonen, die Geschwister/Zwillinge (oder wenn wir wollen, zu identifizieren Bevölkerung Unterbau), während wir nur wollen, zu halten, nicht verwandten Personen; in diesem Fall verwenden wir die mehrdimensionale Skalierung (was gleichbedeutend ist mit PCA, bis auf einen Konstanten, für die ersten zwei Achsen) und entfernen Beobachtungen Ober-oder unterhalb 6 SD auf einem der sagen, die top 10 oder 20 Achsen (siehe zum Beispiel Bevölkerung-Struktur und Eigenanalysis, Patterson et al., PLoS Genetics 2006 2(12)).

   Eine verbreitete alternative ist die Verwendung bestellt robusten mahalanobis-Distanz, die dargestellt werden können (in einem QQ-plot) gegen die erwarteten Quantile einer Chi-Quadrat-Verteilung, wie beschrieben in der folgenden Papier:

   R. G. Garrett (1989). Der chi-square-plot: eines tools für multivariate Ausreißer-Erkennung. Journal of Geochemical Exploration 32(1/3): 319-341.

   (Es ist in der mvoutlier R-Paket.)

2. Es hängt davon ab, was Sie rufen Sie die Benutzereingaben. Ich interpretiere Ihre Frage so, ob einige-Algorithmus kann automatisch eine Distanz-matrix-oder raw-Daten und stoppen auf die optimale Anzahl von Clustern. Wenn dies der Fall ist, und für jede Distanz-basierte Partitionierung-Algorithmus, dann können Sie keine der verfügbaren Gültigkeit Indizes für die cluster-Analyse; eine gute übersicht ist gegeben in

   Handl, J., Knowles, J. und Kell, D. B.
   (2005). Computational cluster validation in post-genomic data analysis.
   Bioinformatik 21(15): 3201-3212.

   dass ich diskutiert Cross-Validiert. Sie können beispielsweise mehrere Instanzen des Algorithmus auf verschiedenen Stichproben (mit bootstrap) von den Daten, die für eine Reihe von cluster-Nummern (sagen wir k=1 bis 20) und wählen k nach den optimierten Kriterien, die betrachtet wurde (Durchschnittliche silhouette-Breite, cophenetic Korrelation, etc.); es kann vollständig automatisiert werden, ohne die Notwendigkeit von Benutzereingaben.

   Existieren auch noch andere Formen des clustering, abhängig von der Dichte (Cluster gesehen werden als Regionen, in denen Objekte sind ungewöhnlich Häufig) oder Verteilung (Cluster sind Mengen von Objekten, die Folgen einer bestimmten Wahrscheinlichkeitsverteilung). Modell-basiertes clustering, wie es implementiert ist, in Mclust, zum Beispiel, ermöglicht das identifizieren von Clustern in einem multivariaten Datensatz durch umspannen eine Reihe der Form für die Varianz-Kovarianz-matrix für eine unterschiedliche Anzahl von Clustern und wählen Sie das beste Modell nach der BIC Kriterium.

3. Dies ist ein heißes Thema in der Klassifizierung, und einige Studien konzentrierten sich auf SVM zu erkennen, Ausreißer, insbesondere, wenn Sie fehlerhaft. Eine einfache Google-Abfrage liefert eine Menge Treffer, z.B. Support-Vector-Machine für die Ausreißer-Erkennung bei Brustkrebs Überlebensfähigkeit Vorhersage von Thongkam et al. (Lecture Notes in Computer Science 2008 4977/2008 99-109; dieser Artikel enthält Vergleich zu den ensemble-Methoden). Die grundlegende Idee ist die Verwendung einer one-class-SVM zur Erfassung der wichtigsten Struktur der Daten durch den Einbau einer multivariaten (z.B. Gauß -) Verteilung; es werden Objekte, die auf oder knapp außerhalb der Grenze gewertet werden könnte, als potentielle Ausreißer. (In einem gewissen Sinn -, Dichte-basiertes clustering durchführen würde ebenso gut als Definition, was ein Ausreisser ist wirklich einfacher ist angesichts einer erwarteten Verteilung.)

   Andere Ansätze für den unüberwachten, semi-überwacht, oder das betreute lernen, sind leicht über Google gefunden, z.B.

   • Hodge, V. J. und Austin, J. Umfrage der Ausreißer-Erkennung Methoden.
   • Vinueza, A. und Grudic, G. Z. Unbeaufsichtigt Ausreißer-Erkennung und Semi-Supervised Learning.
   • Escalante, H. J. Vergleich der Ausreißer-Erkennung Algorithmen für maschinelles Lernen.

   
   Ein Verwandtes Thema ist die Anomalie-Erkennung, über die man eine Menge von Papieren.

4. Dass verdient wirklich einen neuen (und wahrscheinlich noch mehr fokussiert) Frage 🙂

InformationsquelleAutor chl

1. k-means ist ziemlich empfindlich gegenüber Rauschen in den Daten gesetzt. Es funktioniert am besten, wenn Sie entfernen der Ausreißer vorher.

2. Nicht. Alle cluster-Analyse-Algorithmus, der behauptet, parameter-free-in der Regel stark eingeschränkt, und oft verborgene-Parameter - ein allgemeiner parameter ist die Distanz-Funktion, zum Beispiel. Jede flexible cluster-Analyse-Algorithmus wird zumindest akzeptieren eine benutzerdefinierte Distanz-Funktion.

3. one-class-Klassifikatoren sind eine beliebte Maschine-learning-Ansatz zur ausreißererkennung. Allerdings betreut, die Ansätze sind nicht immer geeignet für die Erkennung von _previously_unseen_ Objekte. Plus, können Sie overfit, wenn die Daten bereits enthält Ausreißer.

4. Jeder Ansatz hat seine vor-und Nachteile, das ist, warum Sie existieren. In einem realen Umfeld, haben Sie, um zu versuchen, die meisten von Ihnen, um zu sehen, was funktioniert für Ihre Daten und Einstellung. Es ist der Grund, warum ausreißererkennung heißt knowledge discovery - Sie haben zu erkunden, wenn Sie möchten entdecken etwas neue ...

InformationsquelleAutor Anony-Mousse