Comment ajouter un fichier de configuration pour classpath de tous Étincelle exécuteurs Spark 1.2.0?

Je suis l'aide de Typesafe Config, https://github.com/typesafehub/config, de paramétrer une Étincelle travail en cours d'exécution dans le fil de cluster-mode avec un fichier de configuration. Le comportement par défaut de Typesafe Config est de rechercher le chemin de ressources avec des noms correspondant à une expression régulière et à les charger dans votre classe de configuration automatiquement avec ConfigFactory.load() (pour notre propos, supposons que le fichier recherché est appelé application.conf).

Je suis en mesure de charger le fichier de configuration dans le pilote de l'aide --driver-class-path <directory containing configuration file>, mais à l'aide de --conf spark.executor.extraClassPath=<directory containing configuration file> ne pas mettre de la ressource sur le chemin de classe de tous les exécuteurs comme il se doit. Les exécuteurs testamentaires déclarent qu'ils ne peuvent pas trouver un certain paramètre de configuration pour une clé qui n'existe pas dans le fichier de configuration que j'essaie d'ajouter à leur classpath.

Quelle est la bonne façon d'ajouter un fichier dans le classpath de tous exécuteur machines virtuelles à l'aide de l'Étincelle?

OriginalL'auteur MawrCoffeePls | 2015-07-29

  1. 17

    Il ressemble à la valeur de la spark.executor.extraClassPath propriété est relatif au répertoire de travail de l'application SUR L'EXÉCUTEUR testamentaire.

    Donc, pour utiliser cette propriété correctement, il faut utiliser le --files <configuration file> au premier allumage direct par Étincelle pour copier le fichier dans le répertoire de travail de tous les exécuteurs testamentaires, puis utilisez spark.executor.extraClassPath=./ pour ajouter de l'exécuteur répertoire de travail dans son classpath. Cette combinaison permet à l'exécuteur être capable de lire les valeurs du fichier de configuration.

    Dans le cas où vous le faites via le code, voici l'extrait de code - val conf = new SparkConf().set("l'étincelle.les fichiers","test.conf") .set("l'étincelle.exécuteur testamentaire.extraClassPath","./") où test.conf est mis dans le dossier où j'ai exécuter le pot

    OriginalL'auteur MawrCoffeePls

  2. 3

    - Je utiliser le SparkContext méthode addFile

    val sc: SparkContext = {
  val sparkConf = new SparkConf()
    .set("spark.storage.memoryFraction", "0.3")
    .set("spark.driver.maxResultSize", "10g")
    .set("spark.default.parallelism", "1024")
    .setAppName("myproject")
  sparkConf.setMaster(getMaster)
  val sc = new SparkContext(sparkConf)
  sc.addFile("application.conf")
  sc
}

    OriginalL'auteur santifinland