Traiter avec des valeurs manquantes pour les corrélations de calcul

J'ai l'immense matrice avec beaucoup de valeurs manquantes. Je veux obtenir la corrélation entre les variables.

1. Est la solution 

cor(na.omit(matrix))

mieux que ci-dessous?

cor(matrix, use = "pairwise.complete.obs")

J'ai déjà sélectionné, seules les variables ayant plus de 20% de valeurs manquantes.

2. Quelle est la meilleure méthode pour faire sens ?

InformationsquelleAutor Delphine | 2011-09-16
  1. 16

    Je vote pour la deuxième option. On dirait que vous avez une bonne quantité de données manquantes et donc vous devriez être à la recherche d'un bon d'imputation multiple stratégie pour combler les espaces. Voir Harrell du texte "le modèle de Régression de Stratégies" pour une foule de conseils sur " comment faire ceci correctement.

    InformationsquelleAutor 42-
  2. 12

    Je pense que la deuxième option est plus logique,

    Vous pourriez envisager d'utiliser la rcorr fonction dans le Hmisc paquet.

    Il est très rapide, et inclut uniquement par paires observations complètes.
    L'objet retourné contient une matrice

    1. de corrélation des scores
    2. avec le nombre d'observation utilisées pour chaque valeur de corrélation
    3. d'une valeur de p pour chaque corrélation

    Cela signifie que vous pouvez ignorer les valeurs de corrélation basée sur un petit nombre d'observations (quel que soit le seuil est fait pour vous) ou sur la p-valeur.

    library(Hmisc)
x<-matrix(nrow=10,ncol=10,data=runif(100))
x[x>0.5]<-NA
result<-rcorr(x)
result$r[result$n<5]<-0 # ignore less than five observations
result$r
    InformationsquelleAutor Iain
  3. 6

    Pour les futurs lecteurs Paires-complète de corrélation considéré comme dangereux peut être utile, en faisant valoir que cor(matrix, use = "pairwise.complete.obs") est considéré comme dangereux et en suggérant des solutions de rechange telles que use = "complete.obs").

    • Je ne peux pas recommander son essai, à tous. L'auteur se propose de montrer un contre-exemple où les corrélations par paire, évidemment, de ne pas faire sens intuitif, mais nulle part la définition mathématique du coefficient de corrélation, même mentionné. Considérons cet exemple, seulement une extension de l'auteur de la démonstration: si A et B d'accord sur toutes les observations, mais a 99 observations et B seulement a 97, est-il vraiment absurde que par paires-cor donne une corrélation de 1, et voulez-vous conclure avec l'auteur que d'une corrélation de NA est de plus raisonnable?
    InformationsquelleAutor Triamus