Entfernen von NA in der Korrelations-matrix

Ich bin dabei eine Korrelationsmatrix für ein dataframe von 4000 variable und die würde ich gerne entfernen der Variablen anzeigen > 0.5 Korrelation, so bin ich mit diesem Befehl aus dem {caret} - Paket.

removeme <- findCorrelation(corrMatrix, cutoff = 0.5, verbose = FALSE)

Error in if (mean(x[i, -i]) > mean(x[-j, j])) { : 
missing value where TRUE/FALSE needed

Die Daten, die ich habe, ist sehr variabel, und ich bekomme die NA-Werte hier und da. So starten Sie mit, ich konnte Sie nicht finden, etwas, das umgehen können mit NA-Werte auf der Hilfeseite zu diesem Befehl, also beschloss ich, entfernen die NA-Werte selbst.

Einige Variablen zeigen NA-Werte über den gesamten Daten, und einige zeigen einige NA-Werte. Ich bin versucht zu entfernen, die Variablen, die verursachen keine NA-Werte, so dass ich in der Lage sein, um die oben genannten Befehl. Hier ist ein minimal-Beispiel, was meine Daten sieht wie

dput(df) <- structure(list(GK = 1:10, HGF = c(0L, 0L, 0L, 0L, 0L, 0L, 0L, 
0L, 0L, 0L), HJI = c(2L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L), 
    HDF = c(5L, 6L, 8L, 9L, 5L, 2L, 4L, 3L, 2L, 1L), KLJG = c(0L, 
    0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L), KLJA = c(0L, 0L, 0L, 
    0L, 0L, 0L, 0L, 0L, 0L, 0L), KDA = c(10L, 11L, 15L, 18L, 
    11L, 10L, 10L, 15L, 12L, 13L), OIE = c(NA, NA, NA, NA, NA, 
    NA, NA, NA, NA, NA), AFE = c(0L, 0L, 0L, 1L, 0L, 0L, NA, 
    NA, NA, NA)), .Names = c("GK", "HGF", "HJI", "HDF", "KLJG", 
"KLJA", "KDA", "OIE", "AFE"), class = "data.frame", row.names = c(NA, 
-10L))

corrMatrix <- cor(df,use="pairwise.complete.obs")

Was wäre die beste Idee, um loszuwerden, diese lästigen Variablen? Ich habe versucht, Viele Befehle, aber nicht bekommen, um die ideale eine, die loszuwerden, diese Variablen. Hier einer meiner versuche:

removeme <- corrMatrix[,which(as.numeric(rowSums(is.na(corrMatrix))) > 100)]

Das Problem mit diesem Befehl, dass, wenn es war über eine 100-fehlerhafte Variablen (die NA in der Korrelations-matrix) die normale Variablen entfernt werden, da die Spalten der normalen variable wird > 100 NA-Werte.

Ich hoffe, dieses edit gemacht meine Frage klarer. Cheers.

Bitte post eine Probe Ihres corrMatrix . Wenn es NA Werte in der matrix, dann müssen Sie entscheiden, was Sie wollen, dort zu setzen, z.B. mit Nullen oder ein künstliches großen Wert, damit findCorrelation um seine Aufgabe zu beenden.

InformationsquelleAutor Error404 | 2013-10-01

correlation matrix na r variables

13

Wenn Sie wollen einfach nur, um loszuwerden, jede Spalte, die eine oder mehrere NAs, dann eben
```
x<-x[,colSums(is.na(x))==0]
```
Aber auch mit fehlenden Daten, können Sie die Berechnung der Korrelations matrix mit keine NA Werte durch die Angabe der use parameter in der Funktion cor. Einstellung es entweder pairwise.complete.obs oder complete.obs wird in einem Korrelations-matrix mit keine NAs.

complete.obs ignoriert alle Zeilen mit fehlenden Daten in der Erwägung, dass pairwise.complete.obs wird, ignorieren Sie einfach die fehlenden paar Daten. Beachten Sie, dass, obwohl pairwise.complete.obs "besser klingt", weil es verwendet Daten, aber es ist nicht garantiert, um zu produzieren eine positiv-definite Korrelationsmatrix, die ein problem sein könnte.
```
> set.seed(123)
> x<-array(rnorm(500),c(100,5))
> x[sample(500,3)]<-NA
> cor(x)
     [,1] [,2] [,3]        [,4]        [,5]
[1,]    1   NA   NA          NA          NA
[2,]   NA    1   NA          NA          NA
[3,]   NA   NA    1          NA          NA
[4,]   NA   NA   NA  1.00000000 -0.01925986
[5,]   NA   NA   NA -0.01925986  1.00000000
> cor(x,use="pairwise.complete.obs")
            [,1]        [,2]        [,3]        [,4]        [,5]
[1,]  1.00000000 -0.04377085 -0.18049501 -0.04914247 -0.19374986
[2,] -0.04377085  1.00000000  0.01296008  0.02606083 -0.12333765
[3,] -0.18049501  0.01296008  1.00000000 -0.03218139 -0.02675554
[4,] -0.04914247  0.02606083 -0.03218139  1.00000000 -0.01925986
[5,] -0.19374986 -0.12333765 -0.02675554 -0.01925986  1.00000000
> cor(x,use="complete.obs")
            [,1]        [,2]        [,3]        [,4]        [,5]
[1,]  1.00000000 -0.06263112 -0.17914810 -0.02574970 -0.20504268
[2,] -0.06263112  1.00000000  0.01263764  0.02543900 -0.12571570
[3,] -0.17914810  0.01263764  1.00000000 -0.03866312 -0.02520500
[4,] -0.02574970  0.02543900 -0.03866312  1.00000000 -0.01688848
[5,] -0.20504268 -0.12571570 -0.02520500 -0.01688848  1.00000000
```
Vielen Dank für Ihre Antwort, ich bin eigentlich eine paarweise Korrelation, aber ich habe viele Variablen geben, NA ganz, oder teilweise. Kann man bitte haben Sie einen Blick auf die Kommentar ich habe gerade unter meinen Befehl in Frage? es ist das Hauptproblem!
Was ist falsch mit der Einstellung df<-df[,colSums(!is.na(df))>0] um loszuwerden, Spalten, sind alle NA vor der Erstellung der Korrelationsmatrix?
Weil ich bin mir nicht ganz sicher, dass nur der "alle-null" - Variablen sind, was die NA (dachte, es wäre etwas anderes, ich arbeite mit tausenden von Variablen. Trotzdem versuche ich es jetzt. Hoffe, es wird funktionieren. danke für den Hinweis.
Ja nur alle null-Spalten stellte sich heraus, um das problem zu, das ist peinlich! Ich bin nicht sicher, ob ich es behalten sollte, ist die Frage, die nützlich sein könnten für jemanden?

InformationsquelleAutor mrip
5

Vor der Auswertung die Korrelation für die Prädiktoren aus dem dataset entfernen der null-Varianz der Prädiktoren.

zu entfernen null Varianz der Prädiktoren
```
zv <- apply(df, 2, function(x) length(unique(x)) == 1)

dfr <- df[, !zv](suppose df is the name of your dataset)

n=length(colnames(dfr))
```
berechnen Korrelationsmatrix
```
correlationMatrix <- cor(dfr[,1:n],use="complete.obs")
```
fassen die Korrelationsmatrix
```
print(correlationMatrix)
```
finden die Attribute, die dringend korrigiert (ideal >0.7)
```
highlyCorrelated <- findCorrelation(correlationMatrix, cutoff=(0.7),verbose = FALSE)
```
print-Indizes von hoch korrelierten Parametern
```
print(highlyCorrelated)
```
wichtige Variablen
```
important_var=colnames(df[,-highlyCorrelated])
```
Warum ist es wichtig, zu entfernen null Varianz der Prädiktoren, bitte?

InformationsquelleAutor Madhurima Pal
2

Es ist nicht klar, was Sie zu tun versuchen. Aber hier ein Beispiel im Umgang mit fehlenden Werten. Ich zeige das in einer kleinen matrix.
```
mm <- matrix(NA+0,ncol=4,nrow=3)
mm[1:3] <- 1
mm[8] <- 1

   [,1] [,2] [,3] [,4]
[1,]    1   NA   NA   NA
[2,]    1   NA    1   NA
[3,]    1   NA   NA   NA
```
Spalten entfernen, alle Elemente sind NA -
```
mm[,!colSums(is.na(mm)) == nrow(mm),drop=FALSE]
    [,1] [,2]
[1,]    1   NA
[2,]    1    1
[3,]    1   NA
```
Spalten entfernen, die irgendwelche NA -
```
mm[, !colSums(is.na(mm)) >1,drop=FALSE] ## you can also complete.cases
    [,1]
[1,]    1
[2,]    1
[3,]    1
```
Das problem, warum kann ich nicht löschen von Spalten dies ist einfach, weil die Korrelationsmatrix ist eine symmetrische matrix, so dass jede NA-zeigt-in-1 variable, d.h. es wiederholt sich alle über die matrix. Aus diesem Grund, wenn ich einen na.omit() ich Locker einige Variablen, die ich eigentlich will. Kann man bitte haben Sie einen Blick auf das Beispiel habe ich nur Hinzugefügt? Dank
Sie jemals eine Lösung finden? Ich habe genau das gleiche Problem.

InformationsquelleAutor agstudy

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.

zu entfernen null Varianz der Prädiktoren

berechnen Korrelationsmatrix

fassen die Korrelationsmatrix

finden die Attribute, die dringend korrigiert (ideal >0.7)

print-Indizes von hoch korrelierten Parametern

wichtige Variablen

Spalten entfernen, alle Elemente sind NA -

Spalten entfernen, die irgendwelche NA -