Comment faire pour obtenir l'identificateur applicationid de Spark application déployée au FIL Scala?

Je suis en utilisant la suite de la Scala de code (comme une coutume spark-submit wrapper) pour soumettre une application Spark à un FIL de cluster:

val result = Seq(spark_submit_script_here).!!

Tout ce que j'ai au moment de la soumission est spark-submit et l'Étincelle de l'application jar (pas de SparkContext). J'aimerais capturer applicationId de result, mais elle est vide.

Je peux le voir dans ma ligne de commande de sortie de l'identificateur applicationid et dans le reste du Fil de messages:

INFO fil.Client: rapport d'Application pour application_1450268755662_0110

Comment peut-on lire dans le code et d'obtenir l'identificateur applicationid ?

Parlez-vous SparkContext.applicationId?
Je pense que les fils.Le Client est en quelque sorte l'obtention de la SparkContext.identificateur applicationid - vous pourrait faire de même.
Double Possible de spark Fil mode comment faire pour obtenir l'identificateur applicationid de bougies de soumettre

OriginalL'auteur nish1013 | 2016-01-04

  1. 5

    Comme indiqué dans le Spark question 5439, vous pouvez soit utiliser SparkContext.applicationId ou analyser le stderr de sortie. Maintenant, que vous êtes d'emballage le bon de commande envoyer avec votre propre script/object, je dirais que vous avez besoin de lire le stderr et obtenir l'id de l'application.

    OriginalL'auteur Markon

  2. 3

    Si vous êtes à la soumission de la tâche via Python, c'est comment vous pouvez obtenir le fil de l'application id:

        cmd_list = [{
            'cmd': '/usr/bin/spark-submit --name %s --master yarn --deploy-mode cluster '
                   '--executor-memory %s --executor-cores %s --num-executors %s '
                   '--class %s %s %s'
                   % (
                       app_name,
                       config.SJ_EXECUTOR_MEMORY,
                       config.SJ_EXECUTOR_CORES,
                       config.SJ_NUM_OF_EXECUTORS,
                       config.PRODUCT_SNAPSHOT_SKU_PRESTO_CLASS,
                       config.SPARK_JAR_LOCATION,
                       config.SPARK_LOGGING_ENABLED
                   ),
            'cwd': config.WORK_DIR
        }]
cmd_output = subprocess.run(cmd_obj['cmd'], shell=True, check=True, cwd=cwd, stderr=subprocess.PIPE)
cmd_output = cmd_output.stderr.decode("utf-8")
yarn_application_ids = re.findall(r"application_\d{13}_\d{4}", cmd_output)
                if len(yarn_application_ids):
                    yarn_application_id = yarn_application_ids[0]
                    yarn_command = "yarn logs -applicationId " + yarn_application_id

    OriginalL'auteur Rajiv

  3. 1

    Utiliser l'étincelle contexte pour obtenir de l'application info.

    sc.getConf.getAppId 
res7: String = application_1532296406128_16555

    OriginalL'auteur mmopu