Comment garder le FIL de fichiers journaux?

Il semble que votre conteneur est sortie avec le code de sortie 1.

Vous ne parvenez pas à voir les logs sur l'INTERFACE utilisateur, parce que, par défaut, le journal de l'agrégation est désactivé. Suivant paramètre détermine le journal de l'agrégation:
"fil.journal-agrégation-activer" (mis pour "faux" si le journal de l'agrégation est désactivé).

Si c'est à "false", alors tous les directeurs de nœud stocker le conteneur des journaux dans un répertoire local, déterminé par la configuration suivante paramètre:
"fil.nodemanager.journal-dirs".

Pour, par exemple, dans mon cas, c'est:

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>e:\hdpdata\hadoop\logs</value>
  </property>

Donc, tous mes conteneur des journaux pour une application particulière, se trouvent dans le dossier "e:\hdpdata\hadoop\logs\ {application-id} \ {conteneur-id}", dans le Gestionnaire de Noeud de la machine, d'où la Demande de Maître a couru.

Supposons que ma demande: "application_1443377528298_0010" a ÉCHOUÉ. Dans le YARNRM de l'INTERFACE utilisateur de (déterminée par la config paramètre: fil.resourcemanager.webapp.adresse), vous pouvez obtenir des informations sur le nœud sur lequel le Gestionnaire de l'Application couru. Dans la figure ci-dessous, le Gestionnaire d'Application exécuté sur la machine "120243".

Si vous vous connecter à cette machine et de recherche dans le dossier "e:\hdpdata\hadoop\logs\application_1443377528298_0010\", vous pouvez voir les logs pour tous les conteneurs d'application "application_1443377528298_0010".

Mais, maintenant, si vous voulez voir les journaux à travers le FIL RM INTERFACE utilisateur web, vous devez activer le journal de l'agrégation. Pour cela, vous devez définir les paramètres suivants, dans l'yarn-site.xml:

  <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
  </property>
  <property>
     <name>yarn.nodemanager.remote-app-log-dir</name>
     <value>/app-logs</value>
  </property>
  <property>
      <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
      <value>logs</value>
  </property>

Avec les paramètres ci-dessus, mes journaux sont regroupées dans HDFS à "/app-journaux/{username}/logs/". Dans ce dossier, vous pouvez trouver des journaux pour toutes les applications s'exécutent jusqu'à présent. De nouveau le journal de conservation est déterminé par le paramètre de configuration "fil.journal d'agrégation.conserver secondes" (combien de temps conserver les journaux agrégées).

Lorsque les applications MapReduce sont en cours d'exécution, vous pouvez accéder aux journaux à partir de la LAINE est une INTERFACE web. Une fois le formulaire rempli, les journaux sont servis par le biais de l'Histoire de Job Server.

Dans votre cas, si vous voulez voir les journaux sur le Web l'INTERFACE utilisateur, après l'application est terminée, alors vous avez besoin pour commencer à courir le MapReduce de l'Histoire de Job de serveur. Pour l'activer, définissez les paramètres de configuration suivants dans mapred-site.xml:

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>{job-history-hostname}:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>{job-history-hostname}:19888</value>
  </property>

Et de définir la suite d'un paramètre de configuration dans yarn-site.xml:

  <property>
    <name>yarn.log.server.url</name>
    <value>http://{job-history-hostname}:19888/jobhistory/logs</value>
  </property>

J'ai répliqué paramètres de HDP l'installation sur Windows et ces réglages travailler pour moi. Ces devrait fonctionner pour vous aussi.
Pour la description de tous les paramètres mentionnés ci-dessus, consultez les liens ci-dessous:

https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

OriginalL'auteur Manjunath Ballur