Entfernen Sie Zeilen mit NAs (fehlende Werte) in data.frame

Versuchen na.omit(your.data.frame). Zur zweiten Frage, posten Sie es als eine andere Frage (für Klarheit).

InformationsquelleAutor der Antwort Roman Luštrik

Wenn Sie wie Rohre (%>%), tidyr's neue drop_na ist dein Freund:

library(tidyr)
df %>% drop_na()
#              gene hsap mmul mmus rnor cfam
# 2 ENSG00000199674    0    2    2    2    2
# 6 ENSG00000221312    0    1    2    3    2
df %>% drop_na(rnor, cfam)
#              gene hsap mmul mmus rnor cfam
# 2 ENSG00000199674    0    2    2    2    2
# 4 ENSG00000207604    0   NA   NA    1    2
# 6 ENSG00000221312    0    1    2    3    2

InformationsquelleAutor der Antwort lukeA

Wenn Sie wollen Kontrolle darüber, wie viele NAs sind gültig für jede Zeile, versuchen Sie diese Funktion. Für viele Umfrage-Daten-sets, zu viele leere Frage Antworten kann ruinieren die Ergebnisse. Damit Sie gelöscht werden, nachdem eine bestimmte Schwelle überschreitet. Diese Funktion ermöglicht Ihnen, zu entscheiden, wie viele NAs die Zeile haben kann, bevor es gelöscht:

delete.na <- function(DF, n=0) {
  DF[rowSums(is.na(DF)) <= n,]
}

Standardmäßig, wird es zu beseitigen alle NAs:

delete.na(final)
             gene hsap mmul mmus rnor cfam
2 ENSG00000199674    0    2    2    2    2
6 ENSG00000221312    0    1    2    3    2

Oder geben Sie die maximale Anzahl von NAs erlaubt:

delete.na(final, 2)
             gene hsap mmul mmus rnor cfam
2 ENSG00000199674    0    2    2    2    2
4 ENSG00000207604    0   NA   NA    1    2
6 ENSG00000221312    0    1    2    3    2

InformationsquelleAutor der Antwort Pierre Lafortune

Können wir auch die subset-Funktion für diese.

finalData<-subset(data,!(is.na(data["mmul"]) | is.na(data["rnor"])))

Diese geben nur die Zeilen, die nicht mit NA in beiden mmul und rnor

InformationsquelleAutor der Antwort Ramya Ural

Für Ihre erste Frage, ich habe einen code, die ich bin bequem mit, um loszuwerden, alle NAs. Danke, @Gregor um es einfacher zu machen.

final[!(rowSums(is.na(final))),]

Für die zweite Frage, der code ist nur ein Wechsel von der bisherigen Lösung.

final[as.logical((rowSums(is.na(final))-5)),]

Beachten Sie die -5 ist die Anzahl der Spalten in Ihren Daten. Dadurch wird verhindert, dass Zeilen mit allen NAs, da die rowSums fügt bis zu 5 und Sie werden Nullen nach der Subtraktion. Dieses mal, da.logisch notwendig ist.

InformationsquelleAutor der Antwort LegitMe

Wenn die Leistung eine Priorität ist, verwenden Sie data.table und na.omit() mit optionaler param cols=.

na.weglassen.Daten.table ist der Schnellste auf meinem benchmark (siehe unten), ob alle Spalten oder Spalten auswählen (OP-Frage Teil 2).

Wenn Sie nicht möchten, zu verwenden data.table verwenden complete.cases().

Auf einem Vanille data.frameabgeschlossen.Fällen ist schneller als na.weglassen() oder dplyr::drop_na(). Beachten Sie, dass na.omit.data.frame nicht unterstützen cols=.

Benchmark-Ergebnis

Hier ist ein Vergleich der Basis (blau), dplyr (rosa), und data.table (gelb) Methoden zum löschen, entweder alle oder wählen Sie fehlen Beobachtungen, die auf fiktive Datensatz mit 1 million Beobachtungen von 20 numerische Variablen mit unabhängigen 5% Wahrscheinlichkeit des seins fehlt, und die eine Teilmenge von 4 Variablen, die für Teil 2.

Ihre Ergebnisse können variieren je nach Länge, Breite und sparsity von Ihr bestimmten Datensatz.

Hinweis-log-Skala der y-Achse.

Benchmark-Skript

#-------  Adjust these assumptions for your own use case  ------------
row_size   <- 1e6L 
col_size   <- 20    # not including ID column
p_missing  <- 0.05   # likelihood of missing observation (except ID col)
col_subset <- 18:21  # second part of question: filter on select columns

#-------  System info for benchmark  ----------------------------------
R.version # R version 3.4.3 (2017-11-30), platform = x86_64-w64-mingw32
library(data.table); packageVersion('data.table') # 1.10.4.3
library(dplyr);      packageVersion('dplyr')      # 0.7.4
library(tidyr);      packageVersion('tidyr')      # 0.8.0
library(microbenchmark)

#-------  Example dataset using above assumptions  --------------------
fakeData <- function(m, n, p){
  set.seed(123)
  m <-  matrix(runif(m*n), nrow=m, ncol=n)
  m[m<p] <- NA
  return(m)
}
df <- cbind( data.frame(id = paste0('ID',seq(row_size)), 
                        stringsAsFactors = FALSE),
             data.frame(fakeData(row_size, col_size, p_missing) )
             )
dt <- data.table(df)

par(las=3, mfcol=c(1,2), mar=c(22,4,1,1)+0.1)
boxplot(
  microbenchmark(
    df[complete.cases(df), ],
    na.omit(df),
    df %>% drop_na,
    dt[complete.cases(dt), ],
    na.omit(dt)
  ), xlab='', 
  main = 'Performance: Drop any NA observation',
  col=c(rep('lightblue',2),'salmon',rep('beige',2))
)
boxplot(
  microbenchmark(
    df[complete.cases(df[,col_subset]), ],
    #na.omit(df), # col subset not supported in na.omit.data.frame
    df %>% drop_na(col_subset),
    dt[complete.cases(dt[,col_subset,with=FALSE]), ],
    na.omit(dt, cols=col_subset) # see ?na.omit.data.table
  ), xlab='', 
  main = 'Performance: Drop NA obs. in select cols',
  col=c('lightblue','salmon',rep('beige',2))
)

InformationsquelleAutor der Antwort C8H10N4O2

delete.dirt <- function(DF, dart=c('NA')) {
  dirty_rows <- apply(DF, 1, function(r) !any(r %in% dart))
  DF <- DF[dirty_rows, ]
}

mydata <- delete.dirt(mydata)

Oben genannten Funktion löscht alle Zeilen aus dem data frame, 'NA' in jeder Spalte und gibt die resultierenden Daten. Wenn Sie wollen, überprüfen Sie, ob mehrere Werte wie NA und ? ändern dart=c('NA') in der Funktion param zu dart=c('NA', '?')

InformationsquelleAutor der Antwort sapy