Qu'est-ce que l'Étincelle de l'Emploi ?

Je l'ai déjà fait avec de l'étincelle de l'installation et exécuté peu de cas de tests réglage maître et les nœuds de travail. Cela dit, j'ai un très gros confusion de ce qu'est exactement un emploi est destiné à Étincelle contexte(pas SparkContext). J'ai des questions ci-dessous

  • Comment les différents emplois d'un programme Pilote.
  • Application elle-même est une partie de programme de Pilote?
  • Étincelle présenter dans une façon est d'un emploi?

J'ai lu le Spark documention mais toujours cette chose n'est pas clair pour moi.

L'avoir dit, mon application est d'écrire étincelle emplois{par programme}, qui serait une étincelle soumettre.

Aide gentiment avec des exemples si possible . Il serait très helpdful.

Note: Veuillez ne pas poster étincelle liens parce que j'ai déjà essayé. Même si les questions des sons naïf mais toujours j'ai besoin de plus de clarté dans la compréhension.

OriginalL'auteur chaosguru | 2015-03-10

  1. 31

    Bien, la terminologie peut toujours être difficile car elle dépend du contexte. Dans de nombreux cas, vous pouvez être utilisé pour "soumettre un travail d'impression à un cluster", qui pour le spark serait de présenter un programme pilote.

    Cela dit, la Spark a sa propre définition du "travail", directement à partir du glossaire:

    Travail d'Un calcul parallèle composé de multiples tâches, qui obtient
    donné naissance, en réponse à une Étincelle d'action (par exemple, enregistrer, collecter); vous verrez
    ce terme utilisé dans le pilote de journaux.

    Donc j'ai ce contexte, disons que vous avez besoin pour effectuer les opérations suivantes:

    1. Charger un fichier avec les noms de personnes et des adresses en RDD1
    2. Charger un fichier avec les noms de personnes et de téléphones dans RDD2
    3. Rejoindre RDD1 et RDD2 par nom, pour obtenir RDD3
    4. Carte sur RDD3 pour obtenir une belle présentation HTML carte pour chaque personne comme RDD4
    5. Enregistrer RDD4 de fichier.
    6. Carte RDD1 pour extraire zipcodes les adresses pour obtenir RDD5
    7. Globale sur RDD5 d'obtenir un décompte de la façon dont beaucoup de gens vivent sur chaque code postal comme RDD6
    8. Recueillir RDD6 et imprime ces stats à la sortie standard (stdout).

    Donc,

    1. La programme de pilote est l'ensemble de ce morceau de code, l'exécution de tous les 8 étapes.
    2. La production de l'ensemble de HTML jeu de cartes sur l'étape 5 est un travail (clair, car nous sommes à l'aide de la enregistrer d'action, pas une transformation). Même avec la recueillir sur l'étape 8
    3. D'autres étapes seront organisés en étapes, avec chaque travail est le résultat d'une séquence d'étapes. Pour les choses simples un travail d'une seule étape, mais la nécessité de répartition des données (par exemple, le rejoindre à l'étape 3) ou tout ce qui rompt la localité des données entraîne généralement plusieurs étapes à apparaître. Vous pouvez penser à des étapes de calculs qui produisent des résultats intermédiaires, ce qui peut en fait être conservé. Par exemple, nous pouvons persister RDD1 puisque nous allons utiliser plus d'une fois, en évitant de recalcul.
    4. Tous les 3 ci-dessus essentiellement parler de la logique d'un algorithme donné sera brisé. En revanche, un tâche est un particulier morceau de données qui va passer par une étape donnée, sur un exécuteur testamentaire.

    Espère que cela rend les choses plus claires 😉

    il est clair pour moi maintenant 🙂 mais néanmoins j'ai une question sur la façon d'écrire de l'ordonnancement des travaux. J'ai lu des docs, mais pas obtenir de crochet sur le code.
    Eh bien, ça dépend beaucoup du type d'infrastructure que vous avez (êtes-vous à l'aide de l'Étincelle sur le Fil, par exemple?) Pas mon point fort, mais en principe, je lance tous mes pilotes à partir de scripts Bash (pour mémoriser les paramètres, créer des dossiers, etc). N'importe quel outil de planification en mesure d'exécuter une commande de la console devrait travailler à mon humble avis. Si chaque travail utilise toutes les ressources du cluster, alors vous pouvez simplement soumettre des programmes, et ils vais attendre pour dégager des ressources.
    Aussi, il serait bien si vous pouviez accepter la réponse si il clarifier les choses. Aide les personnes à la recherche pour les questions sans réponse, et donc plus de questions obtiennent une réponse 😉

    OriginalL'auteur Daniel Langdon

  2. 0

    Hey, voici quelque chose que j'ai fait avant, espérons que cela fonctionne pour vous:

    #!/bin/bash
# Hadoop and Server Variables
HADOOP="hadoop fs"
HDFS_HOME="hdfs://ha-edge-group/user/max"
LOCAL_HOME="/home/max"

# Cluster Variables
DRIVER_MEM="10G"
EXECUTOR_MEM="10G"
CORES="5"
EXECUTORS="15"

# Script Arguments
SCRIPT="availability_report.py" # Arg[0]
APPNAME="Availability Report" # arg[1]

DAY=`date -d yesterday +%Y%m%d`

for HOUR in 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23
do
        #local directory to getmerge to
        LOCAL_OUTFILE="$LOCAL_HOME/availability_report/data/$DAY/$HOUR.txt"

        # Script arguments
        HDFS_SOURCE="webhdfs://1.2.3.4:0000/data/lbs_ndc/raw_$DAY'_'$HOUR" # arg[2]
        HDFS_CELLS="webhdfs://1.2.3.4:0000/data/cells/CELLID_$DAY.txt" # arg[3]
        HDFS_OUT_DIR="$HDFS_HOME/availability/$DAY/$HOUR" # arg[4]

        spark-submit \
        --master yarn-cluster \
        --driver-memory $DRIVER_MEM \
        --executor-memory $EXECUTOR_MEM \
        --executor-cores $CORES \
        --num-executors $EXECUTORS \
        --conf spark.scheduler.mode=FAIR \
        $SCRIPT $APPNAME $HDFS_SOURCE $HDFS_CELLS $HDFS_OUT_DIR

        $HADOOP -getmerge $HDFS_OUT_DIR $LOCAL_OUTFILE
done

    OriginalL'auteur Max