Retrait de NA dans la matrice de corrélation

Je suis en train de faire une matrice de corrélation pour un dataframe de 4000 variable et je voudrais enlever les variables montrant > 0.5 corrélation, donc je suis en utilisant cette commande à partir du {lambda} package.

removeme <- findCorrelation(corrMatrix, cutoff = 0.5, verbose = FALSE)

Error in if (mean(x[i, -i]) > mean(x[-j, j])) { : 
missing value where TRUE/FALSE needed

Les données que j'ai est très variable, et je reçois NA valeurs ici et là. Pour commencer, je ne pouvais pas trouver quelque chose qui peut faire face à NA valeurs sur la page d'aide de cette commande, j'ai donc décidé de supprimer le NA les valeurs de moi-même.

Certaines variables présentent des NA les valeurs de tout le chemin à travers les données, et certains montrent quelques NA valeurs. Je suis en train de supprimer les variables qui sont à l'origine de tout NA valeurs, de sorte que je serais en mesure d'utiliser la commande ci-dessus. Voici un exemple minimal de ce que mon apparence des données

dput(df) <- structure(list(GK = 1:10, HGF = c(0L, 0L, 0L, 0L, 0L, 0L, 0L, 
0L, 0L, 0L), HJI = c(2L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L), 
HDF = c(5L, 6L, 8L, 9L, 5L, 2L, 4L, 3L, 2L, 1L), KLJG = c(0L, 
0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L, 0L), KLJA = c(0L, 0L, 0L, 
0L, 0L, 0L, 0L, 0L, 0L, 0L), KDA = c(10L, 11L, 15L, 18L, 
11L, 10L, 10L, 15L, 12L, 13L), OIE = c(NA, NA, NA, NA, NA, 
NA, NA, NA, NA, NA), AFE = c(0L, 0L, 0L, 1L, 0L, 0L, NA, 
NA, NA, NA)), .Names = c("GK", "HGF", "HJI", "HDF", "KLJG", 
"KLJA", "KDA", "OIE", "AFE"), class = "data.frame", row.names = c(NA, 
-10L))
corrMatrix <- cor(df,use="pairwise.complete.obs")

Quelle serait la meilleure idée pour se débarrasser de ces satanés variables? J'ai essayé Beaucoup de commandes, mais n'a pas accès à un idéal qui serait de se débarrasser de ces variables. Voici l'un de mes essais:

removeme <- corrMatrix[,which(as.numeric(rowSums(is.na(corrMatrix))) > 100)]

Le problème avec cette commande que si il n'y avait plus de 100 défectueux variables (donnant NA dans la matrice de corrélation) les variables normales seront supprimés, de même que les colonnes de la variable normale aura > 100 NA valeurs.

J'espère que cette modification faite ma question plus clairement. Des acclamations.

S'il vous plaît poster un échantillon de votre corrMatrix . Si il y a NA valeurs dans la matrice, alors vous devez décider ce que vous voulez y mettre, par exemple, des zéros ou artificielle de grande valeur, afin de permettre findCorrelation pour accomplir sa tâche.

OriginalL'auteur Error404 | 2013-10-01

  1. 13

    Tout simplement si vous voulez vous débarrasser de toute la colonne qui a une ou plusieurs NAs, puis il suffit de faire 

    x<-x[,colSums(is.na(x))==0]

    Cependant, même avec des données manquantes, vous pouvez calculer une matrice de corrélation avec aucune NA valeurs en spécifiant le use paramètre dans la fonction cor. La valeur pairwise.complete.obs ou complete.obs entraînera dans une matrice de corrélation avec aucune NAs.

    complete.obs ignorera toutes les lignes avec des données manquantes, alors que pairwise.complete.obs va simplement ignorer le manque de paires de données. Notez que, bien que pairwise.complete.obs "sonne mieux", car il utilise plus de données disponibles, mais il n'est pas garanti pour produire une défini-positif matrice de corrélation, ce qui pourrait être un problème.

    > set.seed(123)
> x<-array(rnorm(500),c(100,5))
> x[sample(500,3)]<-NA
> cor(x)
[,1] [,2] [,3]        [,4]        [,5]
[1,]    1   NA   NA          NA          NA
[2,]   NA    1   NA          NA          NA
[3,]   NA   NA    1          NA          NA
[4,]   NA   NA   NA  1.00000000 -0.01925986
[5,]   NA   NA   NA -0.01925986  1.00000000
> cor(x,use="pairwise.complete.obs")
[,1]        [,2]        [,3]        [,4]        [,5]
[1,]  1.00000000 -0.04377085 -0.18049501 -0.04914247 -0.19374986
[2,] -0.04377085  1.00000000  0.01296008  0.02606083 -0.12333765
[3,] -0.18049501  0.01296008  1.00000000 -0.03218139 -0.02675554
[4,] -0.04914247  0.02606083 -0.03218139  1.00000000 -0.01925986
[5,] -0.19374986 -0.12333765 -0.02675554 -0.01925986  1.00000000
> cor(x,use="complete.obs")
[,1]        [,2]        [,3]        [,4]        [,5]
[1,]  1.00000000 -0.06263112 -0.17914810 -0.02574970 -0.20504268
[2,] -0.06263112  1.00000000  0.01263764  0.02543900 -0.12571570
[3,] -0.17914810  0.01263764  1.00000000 -0.03866312 -0.02520500
[4,] -0.02574970  0.02543900 -0.03866312  1.00000000 -0.01688848
[5,] -0.20504268 -0.12571570 -0.02520500 -0.01688848  1.00000000
    Merci pour votre réponse, je suis en train de faire une paires de corrélation, mais j'ai beaucoup de variables donnant NA tout le chemin, ou parfois en partie. Pouvez vous s'il vous plaît regardez le commentaire que je viens d'ajouter des sous mes ordres dans la question? il est le principal problème de!
    Quel est le problème avec le réglage de df<-df[,colSums(!is.na(df))>0] pour se débarrasser de colonnes qui sont tous NA avant de générer la matrice de corrélation?
    Parce que je ne suis pas entièrement sûr que seul le "tout à zéro", les variables sont à l'origine de la NA (pensée, il y a peut-être autre chose, comme je travaille avec des milliers de variables. De toute façon je suis en train d'essayer maintenant. Espérons que cela fonctionnera. merci pour l'astuce.
    Oui seulement le zéro pour tous les colonnes s'est avéré le problème, c'est gênant! Je ne suis pas sûr si je devrais garder la question, peut être utile pour quelqu'un?

    OriginalL'auteur mrip

  2. 5

    Avant d'évaluer la corrélation de facteurs prédictifs de votre jeu de données supprimer le zéro de la variance des facteurs prédictifs.

    pour supprimer le zéro de la variance des facteurs prédictifs

    zv <- apply(df, 2, function(x) length(unique(x)) == 1)
dfr <- df[, !zv](suppose df is the name of your dataset)
n=length(colnames(dfr))

    calculer la matrice de corrélation

    correlationMatrix <- cor(dfr[,1:n],use="complete.obs")

    résumer la matrice de corrélation

    print(correlationMatrix)

    trouver les attributs qui sont fortement corrigé (idéalement >0.7)

    highlyCorrelated <- findCorrelation(correlationMatrix, cutoff=(0.7),verbose = FALSE)

    imprimer index de fortement corrélée attributs

    print(highlyCorrelated)

    variables importantes

    important_var=colnames(df[,-highlyCorrelated])
    Pourquoi est-il important d'enlever zéro de la variance des facteurs prédictifs, s'il vous plaît?

    OriginalL'auteur Madhurima Pal

  3. 2

    Il n'est pas clair ce que vous essayez de faire. Mais voici un exemple dans la façon de traiter avec des valeurs manquantes. Je montre ça dans un petit matrice.

    mm <- matrix(NA+0,ncol=4,nrow=3)
mm[1:3] <- 1
mm[8] <- 1
[,1] [,2] [,3] [,4]
[1,]    1   NA   NA   NA
[2,]    1   NA    1   NA
[3,]    1   NA   NA   NA

    supprimer des colonnes avec tous les éléments sont NA

    mm[,!colSums(is.na(mm)) == nrow(mm),drop=FALSE]
[,1] [,2]
[1,]    1   NA
[2,]    1    1
[3,]    1   NA

    supprimer des colonnes d'avoir tout NA

    mm[, !colSums(is.na(mm)) >1,drop=FALSE] ## you can also complete.cases
[,1]
[1,]    1
[2,]    1
[3,]    1
    Le problème, pourquoi je ne peut pas déplacer des colonnes c'est simplement parce que la matrice de corrélation est une matrice symétrique, de sorte que toute NA montrant à 1 variable, les moyens qu'il va être répété au cours de la matrice. Pour cette raison, si je fais un na.omit() je lâche quelques variables je veux en fait. Pouvez vous s'il vous plaît jetez un oeil à l'exemple que je viens d'ajouter? Merci
    jamais vous trouver une solution? J'ai exactement le même problème.

    OriginalL'auteur agstudy