So entfernen Sie Ausreißer aus einem Dataset

Habe ich einige multivariate Daten von beauty-vs-Alter. Das Alter von 20-40 in Abständen von 2 (20, 22, 24....40), und für jeden Datensatz der Daten, wie Sie gegeben werden eine Zeit und ein beauty-rating von 1-5. Wenn ich von boxplots dieser Daten (Alter über der X-Achse, beauty-Bewertungen auf der Y-Achse), es gibt einige Ausreißer eingezeichnet, die außerhalb des whiskers jeder box.

Ich möchte zu löschen, diese Ausreißer aus den Daten-frame selbst, aber ich bin mir nicht sicher, wie R berechnet Ausreißer für seine box-plots. Unten ist ein Beispiel wie meine Daten Aussehen könnte.
So entfernen Sie Ausreißer aus einem Dataset

InformationsquelleAutor der Frage Dan Q | 2011-01-24

  1. 92

    OK, Sie sollten etwas wie diese an das dataset. Ersetzen Sie nicht & sparen Sie, oder Sie werden Ihre Daten zerstören! Und, btw, man sollte (fast) nie entfernen von Ausreißern aus den Daten:

    remove_outliers <- function(x, na.rm = TRUE, ...) {
  qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
  H <- 1.5 * IQR(x, na.rm = na.rm)
  y <- x
  y[x < (qnt[1] - H)] <- NA
  y[x > (qnt[2] + H)] <- NA
  y
}

    Sehen Sie es in Aktion:

    set.seed(1)
x <- rnorm(100)
x <- c(-10, x, 10)
y <- remove_outliers(x)
## png()
par(mfrow = c(1, 2))
boxplot(x)
boxplot(y)
## dev.off()

    Und wieder einmal, sollten Sie nie tun dies auf Ihre eigenen, Ausreißer werden einfach sein soll! =)

    EDIT: ich Hinzugefügt na.rm = TRUE als Standard.

    EDIT2: Entfernt quantile Funktion Hinzugefügt subscripting, damit die Funktion schneller! =)

    So entfernen Sie Ausreißer aus einem Dataset

    InformationsquelleAutor der Antwort aL3xa

  2. 104

    Niemand gepostet hat, die einfachste Antwort: 

    x[!x %in% boxplot.stats(x)$out]

    Siehe auch: http://www.r-statistics.com/2011/01/how-to-label-all-the-outliers-in-a-boxplot/

    InformationsquelleAutor der Antwort J. Win.

  3. 25

    Verwenden outline = FALSE als eine option, wenn Sie den boxplot (Lesen hilft!).

    > m <- c(rnorm(10),5,10)
> bp <- boxplot(m, outline = FALSE)

    So entfernen Sie Ausreißer aus einem Dataset

    InformationsquelleAutor der Antwort Prasad Chalasani

  4. 16

    Der boxplot-Funktion gibt die Werte verwendet, um zu tun, das zeichnen (das ist dann auch tatsächlich getan, indem Sie bxp():

    bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot
bstats$out <- NULL
bstats$group <- NULL
bxp(bstats)  # this will plot without any outlier points

    Ich habe absichtlich keine Antwort auf die konkrete Frage, denn ich halte es für statistische Kunstfehler zu entfernen "Ausreißer". Ich halte es für akzeptabel Praxis nicht zeichnen Sie in einem boxplot, aber Sie zu entfernen ist eine systematische und ungerechtfertigte mangeln der Beobachtungsdaten aufzeichnen.

    InformationsquelleAutor der Antwort 42-

  5. 6
    x<-quantile(retentiondata$sum_dec_incr,c(0.01,0.99))
data_clean <- data[data$attribute >=x[1] & data$attribute<=x[2],]

    Ich finde diese sehr leicht zu entfernen Ausreißer. In dem obigen Beispiel bin ich nur das extrahieren von 2% - Perzentil 98% - Perzentil der Werte des Attributs.

    InformationsquelleAutor der Antwort Gaurav Khare

  6. 4

    Ich sah für Pakete mit Bezug zum entfernen von Ausreißern, und fand das Paket (überraschend genannte "Ausreißer"!): https://cran.r-project.org/web/packages/outliers/outliers.pdf


    wenn Sie durch Sie gehen, sehen Sie verschiedene Möglichkeiten, das entfernen von Ausreißern und unter Ihnen fand ich rm.outlier am bequemsten zu benutzen ist und wie heißt es im obigen link:
    "Wenn die Ausreißer erkannt und bestätigt durch statistische tests mit dieser Funktion können Sie entfernen oder ersetzen Sie durch
    sample mean "oder " median" und auch hier ist die Nutzung zum Teil aus der gleichen Quelle:

    "Nutzung

    rm.outlier(x, fill = FALSE, median = FALSE, opposite = FALSE)

    Argumente

    x einen Datensatz, der meist mit einem Vektor. Wenn argument ein dataframe, dann ein Ausreißer ist
    entfernt von jeder Spalte von sapply. Das gleiche Verhalten angewendet wird, die durch anwenden
    wenn die matrix gegeben ist.

    füllen Wenn auf TRUE gesetzt, den median oder den Mittelwert gelegt, statt der Ausreißer. Ansonsten, die
    Ausreißer(N) ist/sind einfach nur entfernt werden.

    median Wenn auf TRUE gesetzt, den median anstelle des Mittelwerts in Ausreißer-Ersatz.
    Umgekehrt, wenn auf TRUE gesetzt, gibt entgegengesetzten Wert (wenn größten Wert hat die maximale Differenz
    aus dem Mittelwert, es gibt kleinste und Umgekehrt)
    "

    InformationsquelleAutor der Antwort Peyman

  7. 3

    Hinzufügen @sefarkas' Vorschlag und mit quantile als cut-offs, man könnte erkunden Sie die folgende option:

    newdata <- subset(mydata,!(mydata$var > quantile(mydata$var, probs=c(.01, .99))[2] | mydata$var < quantile(mydata$var, probs=c(.01, .99))[1]) )

    Dadurch entfernen Sie die Punkte über der 99. quantile. Sorge sollte genommen werden, wie das, was aL3Xa sagte über das halten von Ausreißern. Es sollte nur entfernt werden, für die Anreise eine alternative konservative Sicht auf die Daten.

    InformationsquelleAutor der Antwort Earnest_learner

  8. 1

    Wäre das nicht:

    z <- df[df$x > quantile(df$x, .25) - 1.5*IQR(df$x) & 
        df$x < quantile(df$x, .75) + 1.5*IQR(df$x)]

    diese Aufgabe ganz leicht?

    InformationsquelleAutor der Antwort d8aninja

Schreibe einen Kommentar