en utilisant en parallèle du parLapply: impossible d'accéder à des variables au sein du code en parallèle

J'ai reçu récemment un ordinateur avec plusieurs cœurs et suis en train d'apprendre à utiliser l'informatique parallèle. Je suis assez compétent avec lapply et on m'a dit parLapply fonctionne de manière similaire. Je ne suis pas fonctionner correctement. Il semble que j'ai explicitement de tout mettre à l'intérieur de la parLapply pour le faire fonctionner (c'est-fonctions à utiliser, variables, etc.). Avec lapply elle se lit de la mère de l'environnement et de parLapply ne semble pas le faire. Donc, dans mon exemple ci-dessous j'ai pu faire fonctionner le tout en plaçant toutes les infos à l'intérieur de parLapply mais si je l'utiliser à l'intérieur d'une fonction définie par l'utilisateur, je ne peux pas explicitement mis text.var à l'intérieur de parLapply. 

library(parallel)
text.var <- rep("I like cake and ice cream so much!", 20)
ntv <- length(text.var)
gc.rate <- 10

pos <-  function(i) {
    paste(sapply(strsplit(tolower(i), " "), nchar), collapse=" | ")
}

lapply(seq_len(ntv), function(i) {
        x <- pos(text.var[i])
        if (i%%gc.rate==0) gc()
        return(x)
    }

)

#doesn't work
cl <- makeCluster(mc <- getOption("cl.cores", 4))
parLapply(cl, seq_len(ntv), function(i) {
        x <- pos(text.var[i])
        if (i%%gc.rate==0) gc()
        return(x)
    }

)

#does work but have to specify all the stuff inside parLapply
cl <- makeCluster(mc <- getOption("cl.cores", 4))
parLapply(cl, seq_len(ntv), function(i) {
        ######stuff I have to put inside parLapply##########
        text.var <- rep("I like cake and ice cream so much!", 20)
        ntv <- length(text.var)
        gc.rate <- 10
        pos <-  function(i) {
            paste(sapply(strsplit(tolower(i), " "), nchar), collapse=" | ")
        }
        ######stuff I have to put inside parLapply##########
        x <- pos(text.var[i])
        if (i%%gc.rate==0) gc()
        return(x)
    }
)

Comment puis-je passer text.var, ntv, gc.rate, et pos à parLapply sans explicitement de les mettre à l'intérieur? (J'imagine que vous les passer comme une liste d'une certaine manière)

PS machine windows 7 donc j'ai besoin d'utiliser parLapply je pense que

InformationsquelleAutor Tyler Rinker | 2012-08-18
  1. 40

    Vous avez besoin d'exporter les variables à l'autre R des processus dans le cluster:

    cl <- makeCluster(mc <- getOption("cl.cores", 4))
clusterExport(cl=cl, varlist=c("text.var", "ntv", "gc.rate", "pos"))
    • combien de temps cela prend-il au total? Est-il juste que le temps global est d'être emportés par la variabilité dans le temps total? c'est à dire que la tâche n'était pas vraiment assez longtemps pour stabiliser les choses?
    InformationsquelleAutor Andy
  2. 10

    Un autre méthode prévue par Martin Morgan serait de travailler ici.

    Cette méthode fournit les objets de chaque nœud dans le cluster directement dans parLapply appel sans avoir besoin d'utiliser les armes à l'exportation:

    library(parallel)
text.var <- rep("I like cake and ice cream so much!", 20)
ntv <- length(text.var)
gc.rate <- 10

pos <-  function(i) {
    paste(sapply(strsplit(tolower(i), " "), nchar), collapse=" | ")
}

cl <- makeCluster(mc <- getOption("cl.cores", 4))
parLapply(cl, seq_len(ntv), function(i, pos, text.var, ntv, gc.rate) {
        x <- pos(text.var[i])
        if (i%%gc.rate==0) gc()
        return(x)
    }, pos, text.var, ntv, gc.rate
)
    • c'est très utile si vous utilisez un parLapply l'intérieur d'une boucle.
    InformationsquelleAutor Tyler Rinker
  3. -1
    out1<-lapply(seq_len(ntv), function(i) {x <- pos(text.var[i]);if (i%%gc.rate==0) gc();return(x)})
out2<-parLapply(cl, seq_len(ntv), function(i) {x <- pos(text.var[i]);if (i%%gc.rate==0) gc();return(x)})

>     identical(out1,out2)
# [1] TRUE
require(rbenchmark)
benchmark(lapply(seq_len(ntv), function(i) {x <- pos(text.var[i]);if (i%%gc.rate==0) gc();return(x)}),parLapply(cl, seq_len(ntv), function(i) {x <- pos(text.var[i]);if (i%%gc.rate==0) gc();return(x)}))


                                                                                       test
#1        lapply(seq_len(ntv), function(i) {\n    x <- pos(text.var[i])\n    if (i%%gc.rate == 0) \n        gc()\n    return(x)\n})
#2 parLapply(cl, seq_len(ntv), function(i) {\n    x <- pos(text.var[i])\n    if (i%%gc.rate == 0) \n        gc()\n    return(x)\n})
#  replications elapsed relative user.self sys.self user.child sys.child
#1          100   20.03 3.453448     20.31     0.05         NA        NA
#2          100    5.80 1.000000      0.22     0.03         NA        NA

> cl
socket cluster with 2 nodes on host ‘localhost’
    • Je ne peux pas reproduire ce. Pouvez-vous structurer le code de sorte qu'il est plus lisible et peut-être ajouter quelques commentaires?
    InformationsquelleAutor shhhhimhuntingrabbits