Comment se connecter à l'aide de log4j de système de fichiers local à l'intérieur d'une Étincelle application qui s'exécute sur le FIL?

Je suis en train de construire un Apache Spark Streaming demande et qui ne peuvent pas se connecter à un fichier sur le système de fichiers local lors de l'exécution sur le FILS. Comment peuvent-ils y parvenir?

J'ai mis log4.properties fichier de sorte qu'il peut réussir à écrire dans un fichier journal dans /tmp répertoire du système de fichiers local (voir ci-dessous partiellement):

log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=/tmp/application.log
log4j.appender.file.append=false
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

Quand je lance mon application Spark localement à l'aide de la commande suivante:

spark-submit --class myModule.myClass --master local[2] --deploy-mode client myApp.jar

Il fonctionne très bien et je peux voir que les messages du journal sont écrits à /tmp/application.log sur mon système de fichiers local.

Mais quand je lance la même demande par le biais de FILS, par exemple,

spark-submit --class myModule.myClass --master yarn-client  --name "myModule" --total-executor-cores 1 --executor-memory 1g myApp.jar

ou

spark-submit --class myModule.myClass --master yarn-cluster  --name "myModule" --total-executor-cores 1 --executor-memory 1g myApp.jar

Je ne vois aucune /tmp/application.log sur le système de fichiers local de la machine sur laquelle tourne le FIL.

Ce qui me manque.

  • J'ai juste collé à votre section de log4j.propriétés et il a couru localement de façon similaire à la vôtre, mais ce n'est pas la création de tout fichier journal pour mon /tmp. ai-je raté quelque chose?
  • J'ai trouvé ce post utile- stackoverflow.com/questions/27781187/...
InformationsquelleAutor Emre Sevinç | 2015-02-11
  1. 24

    [Édité pour éviter la confusion]

    Il semble que vous devez ajouter à la JVM arguments utilisés lors du lancement de vos tâches/travaux.

    Essayez de modifier conf/spark-defaults.conf comme décrit ici

    spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties

spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j.properties

    Sinon essayez de modifier conf/spark-env.sh comme décrit ici pour ajouter le même argument JVM, bien que les entrées dans conf/spark-valeurs par défaut.conf devrait fonctionner.

    Si vous n'obtenez toujours pas toute la joie, vous pouvez transmettre explicitement l'emplacement de votre log4j.les propriétés de fichier sur la ligne de commande avec votre spark-submit comme cela si le fichier est contenu dans votre fichier JAR et dans le répertoire racine de votre classpath

    spark-submit --class sparky.MyApp --master spark://my.host.com:7077 --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-executor.properties" myapp.jar

    Si le fichier n'est pas sur votre classpath utiliser le file: le préfixe et le chemin d'accès complet comme ce

    spark-submit ... --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/apps/spark-1.2.0/conf/log4j-executor.properties" ...
    • Je suis un peu confus. Mon log4j.fichier de propriétés est emballé dans le fichier JAR. Ma demande est un projet Maven, et je suis en création unique, grand, autonome fichier JAR qui a aussi le log4j.les propriétés de fichier. Cela fonctionne bien quand je lance Étincelle localement. Est-ce (mettre le log4j.propriétés en BOCAL) pas possible quand je lance Étincelle sur le FIL de cluster?
    • Oui, il devrait être possible. Je suis en train de l'aider à simplifier le problème en simplifiant la configuration que vous utilisez. Je ne suis pas un expert dans Spark. J'ai un seul cluster ouvrir une session sur un hôte windows.
    • J'ai eu à jouer avec les différents paramètres mentionné dans ma réponse, qui m'a conduit à ré-écrire. J'ai eu la journalisation de travail en modifiant spark-defaults.conf, et puis aussi ai eu de travail en utilisant spark-submit --conf. Soit l'un ou l'autre devrait fonctionner (vous ne devriez pas avoir à la fois)
    • Salut, ci-dessus Peut être utilisé pour un fichier journal qui n'est pas sur le chemin de la classe, ni contenue dans le pot? J'ai copié le journal.propriétés de l'exécuteur testamentaire et utilisé la ligne de commande arg mais il lui dit qu'il ne peut pas être trouvé, merci
    • Oui. Les exemples ci-dessus à l'aide de =file:/apps/sont le référencement d'un chemin absolu sur le disque et non dans un fichier sur le chemin de classe ou dans le POT
    • cela ne fonctionnera pas. Spark travailleur application n'est pas votre bocal, mais une application qui s'exécutent Étincelle code est envoyé à partir du pilote, voir ma réponse, vous devez utiliser un fichier statique (dans HDFS ou tout autre fichier partagé-système, ou par --fichiers Étincelle de la directive).
    • De nombreuses années plus tard... je suis d'accord que la meilleure solution est d'utiliser spark-submit --files "./log4j.properties" ... où log4j.propriétés réside dans le répertoire à partir duquel vous exécutez cette commande. Les propriétés de fichier sera envoyé pour le Conducteur et les Exécuteurs

    InformationsquelleAutor Brad
  2. 8

    Les options ci-dessus de la spécification de la log4j.en utilisant les propriétés de l'étincelle.exécuteur testamentaire.extraJavaOptions, étincelle.le pilote.extraJavaOptions serait ouvrir une session localement et aussi la log4.les propriétés doivent être présents localement sur chaque nœud.

    Comme spécifié dans le https://spark.apache.org/docs/1.2.1/running-on-yarn.html de la documentation, vous pouvez également télécharger log4j.propriétés le long de avec votre application à l'aide de --option fichiers. Ce serait faire le fil d'agrégation de journalisation sur HDFS et vous pouvez accéder au journal de l'aide de la commande 

    yarn logs -applicationId <application id>
    • avez-vous un exemple de log4j.fichier de propriétés pour vous connecter à SF?
    • C'est la seule différence de l'autre réguliers log4.fichier de propriétés. log4j.appender.file_appender.Fichier=${étincelle.de fil.app.le conteneur.journal.dir}/spark.log
    InformationsquelleAutor Chandra
  3. 3

    1) Pour déboguer comment Spark sur le FILS est l'interprétation de votre log4j paramètres, utilisez log4j.debug drapeau.

    2) Étincelle va créer 2 types de FILS de conteneurs, le pilote et le travailleur. Si vous voulez partager un fichier à partir d'où vous présentez votre demande avec tous les conteneurs (vous ne pouvez pas utiliser un fichier à l'intérieur du POT, car ce n'est pas le POT qui tourne vraiment), vous devez donc utiliser le --files Étincelle soumettre la directive (ce qui permettra de partager des fichiers avec tous les travailleurs).

    Comme ceci:

    spark-submit     
    --class com.X.datahub.djobi.Djobi \
    --files "./log4j.properties" \
    --driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \
    --conf "spark.executor.extraJavaOptions=-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties " \
    ./target/X-1.0.jar "$@"

    Où log4j.propriétés d'un fichier de projet à l'intérieur de src/main/resources/config dossier.

    Je peux voir dans la console:

    log4j: Trying to find [config/log4j.properties] using context 
classloader org.apache.spark.util.MutableURLClassLoader@5bb21b69.
log4j: Using URL [jar:file:/home/hdfs/djobi/latest/lib/djobi-1.0.jar!/config/log4j.properties] for automatic log4j configuration.
log4j: Reading configuration from URL jar:file:/home/hdfs/djobi/latest/lib/djobi-1.0.jar!/config/log4j.properties

    Si le fichier est pris en compte, vous pouvez vérifier sur la Spark webUI trop.

    InformationsquelleAutor Thomas Decaux
  4. 1

    Alternativement, vous pouvez utiliser PropertyConfigurator de log4j à définir votre journal personnalisé propriétés.

    Ex.

     import com.foo.Bar;

 import org.apache.log4j.Logger;
 import org.apache.log4j.PropertyConfigurator;

 public class MySparkApp {

   static Logger logger = Logger.getLogger(MySparkApp.class.getName());

   public static void main(String[] args) {

     //Location to property file
     PropertyConfigurator.configure(args[0]);

     logger.info("Entering application.");

     logger.info("Exiting application.");
   }
 }

    Votre fichier de propriétés sont les suivantes accessoires,

    log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=/tmp/application.log
log4j.appender.file.append=false
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

    EDIT: mise à Jour lien de log4j docs. Spark utilise log4j 2, pas v1.2

    Ref : http://logging.apache.org/log4j/2.x/

    • Je ne sais pas si cela va fonctionner sur les deux exécuteur testamentaire et de pilote. Dans le code ci-dessus, il sera probablement de code configuré uniquement pour le conducteur.
    InformationsquelleAutor Ashwin Giridharan
  5. 1

    En vous log4j.les propriétés de fichier, vous devez également modifier le log4j.rootCategory de INFO,console à INFO,file. 

    log4j.rootCategory=INFO, console    
log4j.rootCategory=INFO,file
    InformationsquelleAutor Bing