Obtenir de l'app id d'exécution d'une Étincelle d'emploi

J'aimerais, d'où j'ai exécuté une Étincelle de l'emploi, à obtenir l'identifiant unique de ce travail.

Via l'Étincelle maître nœud de site web, je peux voir que id. C'est quelque chose comme:

ID: app-20140429125304-0452

Est-il un moyen pour l'obtenir, lors de la création de l'exécution d'un travail? Peut-être via le SparkContext?

OriginalL'auteur Greg | 2014-04-30

  1. 14

    oui, exactement comme vous l'avez dit:

    sc.applicationId
res0: String = app-20150224184813-11531

    (C'est spark 1.2)

    Voir la doc API à

    pyspark 1.3 n'a pas sc.applicationId
    Génial, merci. Je ne pense pas que la version de Spark, j'ai été sur le a ce, sur le contexte très heureux qu'ils ont ajouté!
    Mais la version de Java est le manque de celui-ci?

    OriginalL'auteur Yana K.

  2. 5

    Pour ceux qui utilisent pyspark, voir quasi identiques, cette question: Comment extraire l'ID de l'application de la PySpark contexte

    La réponse de @vvladymyrov travaillé pour moi la course pyspark fil-mode client.

    >>> sc._jsc.sc().applicationId()
u'application_1433865536131_34483'

    OriginalL'auteur dnlbrky

  3. 3

    Avec l'introduction de la spark: org.apache.spark.sql.SparkSession de Spark 2.0+ sur l'utilisation

    scala> spark.sparkContext.applicationId
res1: String = app-20170228091742-0025

    OriginalL'auteur Boern

  4. 1

    Cela dépend de la langue que vous utilisez.

    Scala

    https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

    sc.applicationId

    Java

    https://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/api/java/JavaSparkContext.html

    sparkContext.sc().applicationId();

    Python

    http://spark.apache.org/docs/1.6.2/api/python/pyspark.html#pyspark.SparkContext

    sc.applicationId

    Il peut aussi dépendre de l'Étincelle version.

    OriginalL'auteur Thomas Decaux