Spark s'exécute sur le Fils de cluster exitCode=13:
Je suis une étincelle/fils newbie, courir dans exitCode=13 quand je soumettre une étincelle d'emploi sur le fils de cluster. Lorsque l'étincelle de l'emploi est en cours d'exécution en mode local, tout va bien.
La commande que j'ai utilisé est:
/usr/hdp/current/spark-client/bin/spark-submit --class com.test.sparkTest --master yarn --deploy-mode cluster --num-executors 40 --executor-cores 4 --driver-memory 17g --executor-memory 22g --files /usr/hdp/current/spark-client/conf/hive-site.xml /home/user/sparkTest.jar*Étincelle Journal Des Erreurs:
16/04/12 17:59:30 INFO Client:
client token: N/A
diagnostics: Application application_1459460037715_23007 failed 2 times due to AM Container for appattempt_1459460037715_23007_000002 exited with exitCode: 13
For more detailed output, check application tracking page:http://b-r06f2-prod.phx2.cpe.net:8088/cluster/app/application_1459460037715_23007Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_e40_1459460037715_23007_02_000001
Exit code: 13
Stack trace: ExitCodeException exitCode=13:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:576)
at org.apache.hadoop.util.Shell.run(Shell.java:487)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:753)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
**Yarn logs**
16/04/12 23:55:35 INFO mapreduce.TableInputFormatBase: Input split length: 977 M bytes.
16/04/12 23:55:41 INFO yarn.ApplicationMaster: Waiting for spark context initialization ...
16/04/12 23:55:51 INFO yarn.ApplicationMaster: Waiting for spark context initialization ...
16/04/12 23:56:01 INFO yarn.ApplicationMaster: Waiting for spark context initialization ...
16/04/12 23:56:11 INFO yarn.ApplicationMaster: Waiting for spark context initialization ...
16/04/12 23:56:11 INFO client.ConnectionManager$HConnectionImplementation: Closing zookeeper sessionid=0x152f0b4fc0e7488
16/04/12 23:56:11 INFO zookeeper.ZooKeeper: Session: 0x152f0b4fc0e7488 closed
16/04/12 23:56:11 INFO zookeeper.ClientCnxn: EventThread shut down
16/04/12 23:56:11 INFO executor.Executor: Finished task 0.0 in stage 1.0 (TID 2). 2003 bytes result sent to driver
16/04/12 23:56:11 INFO scheduler.TaskSetManager: Finished task 0.0 in stage 1.0 (TID 2) in 82134 ms on localhost (2/3)
16/04/12 23:56:17 INFO client.ConnectionManager$HConnectionImplementation: Closing zookeeper sessionid=0x4508c270df0980316/04/12 23:56:17 INFO zookeeper.ZooKeeper: Session: 0x4508c270df09803 closed *
...
16/04/12 23:56:21 ERROR yarn.ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application.
16/04/12 23:56:21 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 13, (reason: Timed out waiting for SparkContext.)
16/04/12 23:56:21 INFO spark.SparkContext: Invoking stop() from shutdown hook *
Pourriez-vous partager le fils de journaux (non pas à l'ensemble des journaux, juste les messages d'erreur au fil des journaux)?
Vous pourriez obtenir de fils de journaux:
Merci pour la réponse. Ainsi, il s'avère exitCode 10 est à cause de la classNotFound question. Après un quick fix, j'ai rencontré le nouveau numéro avec le Code de sortie 13 lors de l'allumage de l'emploi est en cours d'exécution sur le fils de cluster. C'est un travail bien en mode local. J'ai mis à jour la question ainsi que les journaux afin de ne pas confondre les gens 🙂
Avez-vous mis le maître dans votre code? comme faire
Vous avez entièrement raison! 🙂 Merci beaucoup. J'ai fait la même question avant dans un autre endroit et le code de sortie est de 15. Alors, quand il est 13 ce temps, je n'ai même pas regarder en arrière mon code comme le journal, donc dumm.
Vous pourriez obtenir de fils de journaux:
$ yarn logs -applicationId application_1459460037715_18191Merci pour la réponse. Ainsi, il s'avère exitCode 10 est à cause de la classNotFound question. Après un quick fix, j'ai rencontré le nouveau numéro avec le Code de sortie 13 lors de l'allumage de l'emploi est en cours d'exécution sur le fils de cluster. C'est un travail bien en mode local. J'ai mis à jour la question ainsi que les journaux afin de ne pas confondre les gens 🙂
Avez-vous mis le maître dans votre code? comme faire
SparkConf.setMaster("local[*]") ?Vous avez entièrement raison! 🙂 Merci beaucoup. J'ai fait la même question avant dans un autre endroit et le code de sortie est de 15. Alors, quand il est 13 ce temps, je n'ai même pas regarder en arrière mon code comme le journal, donc dumm.
OriginalL'auteur user_not_found | 2016-04-10
Vous devez vous connecter pour publier un commentaire.
Il semble que vous avez défini le maître dans votre code local
SparkConf.setMaster("local[*]")Vous devez laisser le maître unset dans le code, et de le définir plus tard, lors de la question
spark-submitspark-submit --master yarn-client ...quelle est l'erreur?? parce que c'est la nouvelle façon de spark soumettre pour la version 2+ donc il ne devrait pas donner une erreur
OriginalL'auteur user1314742