La suppression de la constante de colonnes dans la R

J'ai été en utilisant le prcomp fonction lorsque j'ai reçu cette erreur

Error in prcomp.default(x, ...) : 
cannot rescale a constant/zero column to unit variance

Je sais que je peux analyser mes données manuellement mais est-il une fonction ou une commande dans R qui peut m'aider à enlever ces variables constantes?
Je sais que c'est une tâche très simple, mais je n'ai jamais été à travers toute fonction qui fait cela.

Merci,

  • Veuillez lire les consignes de publication, et de fournir un petit, reproductible de l'échantillon x. Droit maintenant, nous ne savons même pas si votre x est numérique, et encore moins une matrice. Maintenant, si c'est une matrice, y <- x[,sd(x)!=0] suffira.
  • Probablement pas nécessaire si vous utilisez prcomp sur vos données, mais si vous avez mélangé les types de colonnes, une solution simple est x[,apply(x, 2, function(col) { length(unique(col)) > 1 })]
InformationsquelleAutor Error404 | 2013-02-25
  1. 37

    Le problème ici est que votre colonne de la variance est égale à zéro. Vous pouvez vérifier la colonne d'une trame de données est la constante de cette façon, par exemple :

    df <- data.frame(x=1:5, y=rep(1,5))
df
#   x y
# 1 1 1
# 2 2 1
# 3 3 1
# 4 4 1
# 5 5 1

# Supply names of columns that have 0 variance
names(df[, sapply(df, function(v) var(v, na.rm=TRUE)==0)])
# [1] "y"

    Donc, si vous voulez exclure ces colonnes, vous pouvez utiliser :

    df[,sapply(df, function(v) var(v, na.rm=TRUE)!=0)]

    EDIT : En fait, c'est plus simple à utiliser apply à la place. Quelque chose comme ceci :

    df[,apply(df, 2, var, na.rm=TRUE) != 0]
    • Est-ce plus rapide (ou plus robuste) que mon minisolution dans le commentaire ci-dessus? -- que je suis en utilisant un officiellement obsolète le fonctionnement avec sd 🙂
    • Eh bien, puisque les conseils lorsque vous utilisez sd(x) est d'utiliser apply(x, 2, sd), je pense que c'est tout à fait le même, si vous suivez les conseils 🙂
    • une grande réponse, merci
    • df[,sapply(df, function(v), var(v, na.rm=TRUE)!=0)] ne fonctionne pas pour moi: "undefined colonnes sélectionnées" erreur
    InformationsquelleAutor juba
  2. 13

    Je suppose que ce Q&A est un populaire résultat de recherche de Google, mais la réponse est un peu lent pour une matrice de grande taille, plus je n'ai pas assez de réputation pour commenter la première réponse. Donc je poste une nouvelle réponse à la question.

    Pour chaque colonne d'une matrice de grande taille, de vérifier si le maximum est égal à la valeur minimale est suffisante.

    df[,!apply(df, MARGIN = 2, function(x) max(x, na.rm = TRUE) == min(x, na.rm = TRUE))]

    C'est le test. Plus de 90% du temps est réduite par rapport à la première réponse. Il est également plus rapide que la réponse de la deuxième commentaire sur la question.

    ncol = 1000000
nrow = 10
df <- matrix(sample(1:(ncol*nrow),ncol*nrow,replace = FALSE), ncol = ncol)
df[,sample(1:ncol,70,replace = FALSE)] <- rep(1,times = nrow) # df is a large matrix

time1 <- system.time(df1 <- df[,apply(df, 2, var, na.rm=TRUE) != 0]) # the first method
time2 <- system.time(df2 <- df[,!apply(df, MARGIN = 2, function(x) max(x, na.rm = TRUE) == min(x, na.rm = TRUE))]) # my method
time3 <- system.time(df3 <- df[,apply(df, 2, function(col) { length(unique(col)) > 1 })]) # Keith's method

time1
#   user  system elapsed 
# 22.267   0.194  22.626 
time2
#   user  system elapsed 
#  2.073   0.077   2.155 
time3
#   user  system elapsed 
#  6.702   0.060   6.790
all.equal(df1, df2)
# [1] TRUE
all.equal(df3, df2)
# [1] TRUE
    • J'ai rediffusé et trouvé, c'est environ 15% plus rapide d'utiliser tous les(x==x[1], na.rm=TRUE) plutôt que le calcul du max et min.
    • Position(function(x) !est.na(x), x) donne la position de l'index de la première non-na élément, et cela passe beaucoup plus de temps si x a une certaine na valeurs.
    InformationsquelleAutor raymkchow
  3. 6

    Depuis ce Q&A est un populaire résultat de recherche de Google, mais la réponse est un peu lent pour une matrice de grande taille et @raymkchow version est lent avec NAs je propose une nouvelle version à l'aide de l'exponentielle de recherche et data.table pouvoir.

    Cette fonction j'ai mis en place dans dataPreparation paquet.

    D'abord construire un exemple de données.table, avec plus de lignes que de colonnes (ce qui est généralement le cas) et 10% de NAs

    ncol = 1000
nrow = 100000
df <- matrix(sample(1:(ncol*nrow),ncol*nrow,replace = FALSE), ncol = ncol)
df <- apply (df, 2, function(x) {x[sample( c(1:nrow), floor(nrow/10))] <- NA; x} ) # Add 10% of NAs
df[,sample(1:ncol,70,replace = FALSE)] <- rep(1,times = nrow) # df is a large matrix
df <- as.data.table(df)

    Ensuite de référence à toutes les approches:

    time1 <- system.time(df1 <- df[,apply(df, 2, var, na.rm=TRUE) != 0, with = F]) # the first method
time2 <- system.time(df2 <- df[,!apply(df, MARGIN = 2, function(x) max(x, na.rm = TRUE) == min(x, na.rm = TRUE)), with = F]) # raymkchow
time3 <- system.time(df3 <- df[,apply(df, 2, function(col) { length(unique(col)) > 1 }), with = F]) # Keith's method
time4 <- system.time(df4 <- df[,-whichAreConstant(df, verbose=FALSE)]) # My method

    Les résultats sont les suivants:

    time1 # Variance approch
#   user  system elapsed 
#   2.55    1.45    4.07
time2 # Min = max approach
#   user  system elapsed 
#  2.72      1.5    4.22
time3 # length(unique()) approach
#   user  system elapsed 
#    6.7    2.75    9.53
time4 # Exponential search approach
#   user  system elapsed 
#   0.39    0.07    0.45
all.equal(df1, df2)
# [1] TRUE
all.equal(df3, df2)
# [1] TRUE
all.equal(df4, df2)
# [1] TRUE

    dataPreparation:whichAreConstant est 10 fois plus rapide que les autres approches.

    Plus plus le nombre de lignes que vous avez le plus intéressant à utiliser.

    InformationsquelleAutor Emmanuel-Lin