Puis-je ajouter des arguments de code python quand je soumettre étincelle d'emploi?

Je suis en train d'utiliser spark-submit d'exécuter mon code python dans spark cluster.

Généralement, nous courons spark-submit avec du code python comme ci-dessous.

# Run a Python application on a cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  my_python_code.py \
  1000

Mais je veux exécuter my_python_code.pyen passant plusieurs arguments en Est-il de manière intelligente pour passer des arguments?

OriginalL'auteur Jinho Yoo | 2015-08-26

  1. 21

    Oui: Mettre cela dans un fichier appelé args.py

    #import sys
print sys.argv

    Si vous exécutez

    spark-submit args.py a b c d e

    Vous verrez:

    ['/spark/args.py', 'a', 'b', 'c', 'd', 'e']

    OriginalL'auteur Paul

  2. 22

    Même sys.argv est une solution gagnante, je préfère cette façon appropriée de gérer en ligne de commande arguments dans mon Étincelle d'emplois:

    import argparse

parser = argparse.ArgumentParser()
parser.add_argument("--ngrams", help="some useful description.")
args = parser.parse_args()
if args.ngrams:
    ngrams = args.ngrams

    Puis lancez votre travail de la manière suivante:

    spark-submit job.py --ngrams 3

    Plus d'informations sur argparse module peut être trouvé dans Argparse Tutoriel

    Pas de travail! Résultats de la dit " [TerminalIPythonApp] CRITIQUE | non reconnus drapeau: '--ngrams' "
    Si vous avez des configs que vous souhaitez envoyer avec votre étincelle soumission du travail, assurez-vous d'exécuter avec info de config juste après étincelle soumettre, comme: spark-submit --master somemasterurl job.py --ngrams 3

    OriginalL'auteur noleto

  3. 2

    Ah, c'est possible. http://caen.github.io/hadoop/user-spark.html 

    spark-submit \
    --master yarn-client \   # Run this as a Hadoop job
    --queue <your_queue> \   # Run on your_queue
    --num-executors 10 \     # Run with a certain number of executors, for example 10
    --executor-memory 12g \  # Specify each executor's memory, for example 12GB
    --executor-cores 2 \     # Specify each executor's amount of CPUs, for example 2
    job.py ngrams/input ngrams/output

    OriginalL'auteur Jinho Yoo