Ligne-sage de la variance d'une matrice dans la R

Je voudrais calculer la variance pour chaque ligne dans une matrice. Pour la matrice suivante A

     [,1] [,2] [,3]
[1,]    1    5    9
[2,]    5    6   10
[3,]   50    7   11
[4,]    4    8   12

Je voudrais obtenir

[1]  16.0000   7.0000 564.3333  16.0000

Je sais que je peux y arriver avec apply(A,1,var), mais est-il plus rapide ou plus efficace? D'octave, je peux le faire avec var(A,0,2), mais je ne comprends pas comment le Y argument de la var() fonction dans R est utilisé.

Edit: Le dataset d'un typique contient environ 100 lignes et 500 colonnes. La quantité totale de données est d'environ 50 GO.

Connexes: stackoverflow.com/questions/17549762/is-there-such-colsd-in-r
Pourriez-vous s'il vous plaît laissez-nous savoir la dimension de votre ensemble de données?

OriginalL'auteur Toby | 2014-08-02

  1. 23

    Vous pourriez potentiellement vectoriser var sur des lignes (ou des colonnes) à l'aide de rowSums et rowMeans

    RowVar <- function(x, ...) {
  rowSums((x - rowMeans(x, ...))^2, ...)/(dim(x)[2] - 1)
}

RowVar(A)
#[1]  16.0000   7.0000 564.3333  16.0000

    À l'aide de @Richards données, les rendements en

    microbenchmark(apply(m, 1, var), RowVar(m))

## Unit: milliseconds
## expr        min         lq     median         uq        max neval
## apply(m, 1, var) 343.369091 400.924652 424.991017 478.097573 746.483601   100
##        RowVar(m)   1.766668   1.916543   2.010471   2.412872   4.834471   100

    Vous pouvez également créer un cadre plus général de la fonction qui va recevoir une syntaxe similaire à apply mais restera vectorisé (la colonne sage variance sera plus lente que la matrice doit être transposée en premier)

    MatVar <- function(x, dim = 1, ...) {
  if(dim == 1){
     rowSums((x - rowMeans(x, ...))^2, ...)/(dim(x)[2] - 1)
  } else if (dim == 2) {
     rowSums((t(x) - colMeans(x, ...))^2, ...)/(dim(x)[1] - 1)
  } else stop("Please enter valid dimension")
}


MatVar(A, 1)
## [1]  16.0000   7.0000 564.3333  16.0000

MatVar(A, 2)
        V1         V2         V3 
## 547.333333   1.666667   1.666667
    Ouais accélère un peu (beaucoup). D'où vient le dernier 298 millisecondes de ma vie aller?
    que faire si vous voulez l'appliquer uniquement à un sous-ensemble de colonnes?
    donc sous-ensemble au sein de la matrice, par exemple, RowVar(A[, 1:3) sera exécuté uniquement sur les 3 premières colonnes. Aussi, jetez un oeil à la matrixStats paquet, ils ont couvert à peu près tout. Vous pouvez également télécharger ces fonctions directement à partir de la GH, voir ici
    Incroyable. J'ai pu me couper de moitié le temps. Merci beaucoup!

    OriginalL'auteur David Arenburg

  2. 11

    C'est l'une des principales raisons pour lesquelles apply() est utile. Il est destiné à fonctionner sur les marges d'un tableau ou d'une matrice.

    set.seed(100)
m <- matrix(sample(1e5L), 1e4L)
library(microbenchmark)
microbenchmark(apply(m, 1, var))
# Unit: milliseconds
#              expr      min       lq   median       uq      max neval
#  apply(m, 1, var) 270.3746 283.9009 292.2933 298.1297 343.9531   100

    Est de 300 millisecondes trop de temps pour faire de 10 000 calculs?

    Nous allons voir si c'est trop quand je s'attaquer à l'ensemble de 50 go, mais en sachant que apply() est le chemin à parcourir dans ce cas aide déjà. Merci!

    OriginalL'auteur Rich Scriven