question Exécution du travail Spark sur le cluster de fils

Je veux exécuter mon étincelle d'Emploi dans Hadoop YARN mode cluster, et je suis en utilisant la commande suivante:

spark-submit --master yarn-cluster 
             --driver-memory 1g 
             --executor-memory 1g
             --executor-cores 1 
             --class com.dc.analysis.jobs.AggregationJob
               sparkanalitic.jar param1 param2 param3

J'obtiens l'erreur ci-dessous, veuillez suggérer ce qui se passe mal, la commande correcte ou pas. Je suis à l'aide CDH 5.3.1.

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with  
exitCode: 15 due to: Exception from container-launch.

Container id: container_1424284032717_0066_02_000001
Exit code: 15
Stack trace: ExitCodeException exitCode=15: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)  

Container exited with a non-zero exit code 15
.Failing this attempt.. Failing the application.
     ApplicationMaster host: N/A
     ApplicationMaster RPC port: -1
     queue: root.hdfs
     start time: 1424699723648
     final status: FAILED
     tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066
     user: hdfs

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: org.apache.hadoop.ipc.Client@4085f1ac
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

Toute aide serait grandement appréciée.

source d'informationauteur Sachin Singh | 2015-02-24

  1. 19

    Il peut signifier beaucoup de choses, pour nous, nous obtenons le message d'erreur similaire en raison de la non prise en charge de Java version de la classe, et nous avons résolu le problème en supprimant l'référencé classe Java dans notre projet.

    Utilisez cette commande pour afficher le message d'erreur détaillé:

    yarn logs -applicationId application_1424284032717_0066
  2. 1

    La commande est correcte.

    Ce que j'ai rencontré est que le "code de sortie 15" indique normalement une TableNotFound Exception. Cela signifie généralement qu'il ya une erreur dans le code que vous soumettez.

    Vous pouvez le vérifier en visitant l'URL de suivi.

  3. 1

    Pour moi le code de sortie problème résolu en plaçant hive-site.xml dans spark/conf répertoire.

  4. 1

    Vous devez supprimer ".setMaster("local")" dans le code.

  5. 0

    Supprimer la ligne "spark.master":"local[*]" dans l'étincelle fichier de configuration si vous exécutez l'étincelle de l'emploi au titre de cluster.

    Supposons exécuter sur le pc local, de l'inclure.

    Mani