Combiner une liste de données.tables

Est-t-il une méthode pour combiner une liste de données.les tables dans la R?

J'ai une liste de ~20 données.tables, chacune avec environ 1 million de lignes, et souhaitez les combiner en un seul de données.table avec 20 millions de lignes.

Je fais ça avec 

Reduce('rbind', data.table)

mais ça prend du temps.

Tnx!

InformationsquelleAutor user680111 | 2012-09-03
  1. 22

    Voir ?rbindlist et ces questions connexes (plus facile à trouver quand on sait quoi chercher!) :

    les données.tableau des questions et des réponses contenant des rbindlist

    • Ne savais pas qu'on avait intégré une fonction spécifiquement pour cette tâche. Beau travail, et par l'habitude, il est assez rapide.
    InformationsquelleAutor Matt Dowle
  2. 22

    À l'aide de do.call semble être environ 10 fois plus rapide avec ce composé exemple:

    library(data.table)

x1 <- data.table(x = runif(1e6), y = runif(1e6))
x2 <- data.table(x = runif(1e6), y = runif(1e6))

#20 data.tables all of length 1e6
yourList <- list(x1,x2,x1,x2,x1,x2,x1,x2,x1,x2,x1,x2,x1,x2,x1,x2,x1,x2,x1,x2)

system.time(out1 <- Reduce("rbind", yourList))
#-----
   user  system elapsed 
   3.37    3.03    6.43 
system.time(out2 <- do.call("rbind", yourList))
#-----
   user  system elapsed 
   0.33    0.36    0.68 
all.equal(out1,out2)
#-----
[1] TRUE

    Modifier à intégrer Matt réponse

    Je ne savais pas data.table avaient une fonction spécifique pour cette tâche. Par pour le cours, il est assez rapide. Voici les dates:

    system.time(out3 <- rbindlist(yourList))
#-----
   user  system elapsed 
   0.07    0.03    0.11 

all.equal(out1,out3)
#-----
[1] TRUE
    • +1 pour le calendrier des trucs
    InformationsquelleAutor Chase
  3. 2

    Pour mon argent, le package plyr de ldply est la façon de le faire. Je possède l'avantage que le nom de l'élément de la liste est ajouté à la première colonne, nommé .id.

    En outre, une liste de trames de données est souvent la sortie de tapply, dans ce cas remplacer tout le toutim avec ddply.

    Alternatives comprennent do.call("rbind", mylist) ou un treillis de make.groups (n'ont pas été en mesure de trouver celui-ci à récemment).

    Note: j'ai peut être mal compris la question-j'ai lu data.frame au lieu de data.table. Ces techniques fonctionnent encore, mais je ne suis pas sûr qu'ils résultent d'un data.table de tous les temps.

    • L'OP a 20 * 1 million de lignes, cependant, et a la vitesse de problème à résoudre.
    • Juste point de, de données.le tableau peut mais utilisé pour résoudre certains maladroits des problèmes de performances, bien que son sage d'inclure le coût de mise en œuvre de ce tableau, il n'est pas clair si c'est pris en compte ici.
    • Vrai, mais l'incrustation de la table ne rentre pas dans cette question particulière. En général, oui, il serait agréable de voir plus de repères scission et rapport le temps de setkey. En règle générale, cela se fait une fois, comme dans une base de données, mais est toujours d'actualité. Unkeyed agrégation est assez rapide, donc généralement pas besoin de clé pour cela.
    InformationsquelleAutor Alex Brown