Comment passer des variables d'environnement à l'allumage du pilote en mode cluster avec spark-soumettre

spark-submit permet de configurer l'exécuteur des variables d'environnement avec --conf spark.executorEnv.FOO=bar, et l'Étincelle d'API REST permet de passer des variables d'environnement avec la environmentVariables champ.
Malheureusement, je n'ai rien trouvé de similaire pour configurer la variable d'environnement du conducteur lors de la présentation du pilote avec spark-submit en mode cluster:

spark-submit --deploy-mode cluster myapp.jar

Est-il possible de définir les variables d'environnement du conducteur avec spark-submit en mode cluster?

J'aurais dit que je suis à l'aide d'allumage en mode autonome — pas de fils ou de mesos
Avez-vous trouver un moyen pour le faire finalement?

OriginalL'auteur Gaëtan Lehmann | 2016-06-17

  1. 11

    Sur le FIL au moins, cela fonctionne:

    spark-submit --deploy-mode cluster --conf spark.yarn.appMasterEnv.FOO=bar myapp.jar

    Il est mentionné dans http://spark.apache.org/docs/latest/configuration.html#environment-variables que:

    Remarque: Lors de l'exécution de l'Étincelle sur le FIL dans les cluster mode, les variables d'environnement doivent être définies à l'aide de la spark.yarn.appMasterEnv.[EnvironmentVariableName] propriété dans votre conf/spark-defaults.conf fichier.

    J'ai testé que l'on peut passer avec --conf drapeau pour spark-submit, de sorte que vous n'avez pas à modifier mondiale fichiers de conf.

    Pour avoir la variable d'environnement aussi sur excutore vous avez besoin également d'ajouter: --conf spark.executorEnv.FOO=bar

    OriginalL'auteur Arvidaa

  2. 3

    Vous pouvez utiliser la Classification ci-dessous pour configurer les variables d'environnement sur l'exécuteur testamentaire et de nœud maître:

    [   
  {
   "Classification": "yarn-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "VARIABLE_NAME": VARIABLE_VALUE,
         }
       }
   ]
 }
]

    Si vous venez de définir spark.yarn.appMasterEnv.FOO = "foo", puis l'env de variable ne sera pas présent sur exécuteur des instances.

    Les Classifications sont un DME (AWS) mécanisme spécifique. l'OP n'a pas de spécifier à l'aide d'EMR

    OriginalL'auteur Sanchay

  3. 2

    Sur le Fil en mode cluster, il a travaillé en ajoutant les variables d'environnement dans le bon de commande envoyer à l'aide de --conf comme ci-dessous-

    étincelle soumettre --master fil-cluster --num exécuteurs testamentaires 15 --exécuteur-mémoire 52g --exécuteur des noyaux 7 --pilote-mémoire 52g --conf "l'étincelle.de fil.appMasterEnv.FOO=/Chemin/foo" --conf "l'étincelle.executorEnv.FOO2=/chemin/foo2" app.jar

    Aussi, vous pouvez le faire en ajoutant dans conf/spark-valeurs par défaut.fichier conf.

    OriginalL'auteur Jyoti Gupta

  4. -1

    Oui, C'est possible. Quelles sont les variables que vous avez besoin, vous pouvez poster que dans spark-soumettez-vous comme vous êtes en train de faire? 

    spark-submit --deploy-mode cluster myapp.jar

    Prendre variables de http://spark.apache.org/docs/latest/configuration.html et dépend de votre optimisation de l'utilisation de ces. Cette lien pourrait également être utile.

    J'ai l'habitude d'utiliser en mode cluster, mais maintenant je suis à l'aide de FIL donc mes variables sont comme suit: (je l'espère, utile)

    hastimal@nm:/usr/local/spark$ ./bin/spark-submit --class  com.hastimal.Processing  --master yarn-cluster  --num-executors 15 --executor-memory 52g --executor-cores 7 --driver-memory 52g  --driver-cores 7 --conf spark.default.parallelism=105 --conf spark.driver.maxResultSize=4g --conf spark.network.timeout=300  --conf spark.yarn.executor.memoryOverhead=4608 --conf spark.yarn.driver.memoryOverhead=4608 --conf spark.akka.frameSize=1200  --conf spark.io.compression.codec=lz4 --conf spark.rdd.compress=true --conf spark.broadcast.compress=true --conf spark.shuffle.spill.compress=true --conf spark.shuffle.compress=true --conf spark.shuffle.manager=sort /users/hastimal/Processing.jar Main_Class /inputRDF/rdf_data_all.nt /output /users/hastimal//users/hastimal/query.txt index 2

    Dans cette, mon pot suivants sont des arguments de la classe.

    cc /inputData/data_all.txt de sortie //users/hastimal/
    /users/hastimal/query.txt indice 2

    L'OP est de poser des questions sur les variables d'environnement, mais cette réponse apparaît sur la manière de configurer les propriétés java.

    OriginalL'auteur ChikuMiku