Erreur doParallel dans R: Erreur dans serialize (données, noeud $ con): erreur d'écriture dans la connexion

C'est mon code. Les trucs à l'intérieur de la boucle du sens.

        library(foreach)
        library(doParallel)
        cl <- makeCluster(7)
        registerDoParallel(cl) 

        elasticitylist = foreach(i=1:nhousehold) %dopar% {

            pricedraws = out$betadraw[i,12,] 
            elasticitydraws[,,i]= probarray[,,i] %*% diag(pricedraws)
            elasticitydraws[,,i] = elasticitydraws[,,i] * as.vector(medianpricemat)

        }

Je reçois cette erreur:

Error in serialize(data, node$con) : error writing to connection

Je sais que j'ai assez de carottes (il y en a 20). Quelqu'un peut-il aider? Il semble que la réponse est nulle part pour être trouvée dans les docs!

Quand je lance ps -ef| grep user sur mon serveur unix, j'obtiens:

/apps/R.3.1.2/lib64/R/bin/exec/R --slave --no-restore -e parallel:::.slaveRSOCK() --args MASTER=localhost PORT=11025 OUT=/dev/null TIMEOUT=2592000 METHODS=TRUE XDR=TRUE

source d'informationauteur wolfsatthedoor

  1. 8

    Les fonctions serialize et unserialize sont appelés par le processus maître communiquer avec les travailleurs lors de l'utilisation d'un socket cluster. Si vous obtenez un message d'erreur à partir de l'une de ces fonctions, cela signifie généralement qu'au moins l'un des ouvriers est mort. Sur une machine Linux, il est peut-être décédé, car la machine était presque hors de la mémoire, de sorte que la capacité de mémoire du tueur a décidé de la tuer, mais il existe de nombreuses autres possibilités.

    Je vous suggérons d'utiliser le makeCluster outfile="" option lors de la création de l'objet cluster de sorte que la production de la part des ouvriers est affiché. Si vous avez de la chance, vous obtiendrez un message d'erreur à partir d'un travailleur avant qu'il ne meurt, il vous aidera à résoudre le problème.

  2. 3

    J'ai eu le même problème, lorsque j'ai essayé d'utiliser toutes les 8 coeurs de ma machine. Quand j'ai quitté l'un ouvert, alors le problème a disparu. Je crois que le système a besoin de 1 de base pour les tâches de service à la gauche de l'ouvrir, sinon vous aurez une erreur: 

    library(doParallel)
#Find out how many cores are available (if you don't already know)
cores<-detectCores()
#Create cluster with desired number of cores, leave one open for the machine         
#core processes
cl <- makeCluster(cores[1]-1)
#Register cluster
registerDoParallel(cl)
  3. 0

    Après avoir reçu ce message d'erreur, j'ai modifié mon code pour non-parallèle pour la boucle. Puis j'ai reçu un message d'erreur "ne peut pas allouer de vecteur de taille *** Go". Je suppose que le parallèle échec peut être provoqué par la même raison, juste le message d'erreur différents.

  4. 0

    J'ai reçu une erreur similaire à partir de la suivante, où j'ai terminé par le modèle de formation au début, puis il a essayé de l'exécuter à nouveau. Voici un exemple, je suis en utilisant le caret paquet pour former un modèle, mais je pense que c'est applicable dans n'importe quelle application où le traitement parallèle est impliqué.

    > cluster <- makeCluster(10)
> registerDoParallel(cluster)
> train(... , trControl = trainControl(allowParallel = T)
# Terminated before complete
> train(... , trControl = trainControl(allowParallel = T)
Error in serialize(data, node$con) : error writing to connection

    J'ai fermé le cluster et relancé:

    stopCluster(cluster)
registerDoSEQ()
cluster <- makeCluster(10)
registerDoParallel(cluster)

    Ne voyez pas l'erreur lors de l'exécution du modèle. Parfois, l'éteindre et rallumé vraiment peut être la solution.