D'où vient Hadoop stocker les logs de FIL applications?

- Je exécuter l'exemple de base de hortonworks a' fil exemple d'application. L'échec de l'application et je veux lire les journaux pour comprendre pourquoi. Mais je ne peux pas trouver les fichiers à l'emplacement prévu (/HADOOP_INSTALL_FOLDER/logs) où les journaux de mes tâches mapreduce sont stockées.

Quelqu'un sait où les magasins de fils non-mapreduce les fichiers journaux? Dois-je configurer un répertoire spécial dans les fichiers xml?

OriginalL'auteur padmalcom | 2014-02-07

  1. 18

    Le conteneur journaux doivent être sous fil.nodemanager.journal-dirs:

    Où stocker le conteneur des journaux. Une application localisée répertoire des journaux se trouvent dans ${yarn.nodemanager.log-dirs}/application_${appid}. Conteneurs individuels " journal des répertoires ci-dessous ce, dans des répertoires nommés container_{$contid}. Chaque conteneur répertoire contient les fichiers stderr, stdin, et syslog généré par le conteneur.

    C'est exactement ce que je cherchais. Réglage YARN_LOG_DIR dans yarn-env.sh n'est pas nécessaire lorsque vous définissez fil.nodemanager.journal-dirs d'un chemin absolu. Alternativement, vous pouvez uniquement définir YARN_LOG_DIR et de laisser de fils.nodemanager.journal-dirs à sa valeur par défaut ${YARN_LOG_DIR}/logs pour définir le FIL répertoire des journaux.
    Salut, comment puis-je supprimer ces fils de logs? Ne retirer le fil de fichier journal est-il? Je suis totalement nouveau pour fil..
    poser des questions comme des questions distinctes, non pas comme des commentaires.

    OriginalL'auteur Remus Rusanu

  2. 5

    Journal-l'agrégation a été mis en œuvre dans le FIL, en raison de laquelle le fichier journal les emplacements varient en comparaison avec Hadoop 1.

    Vous pouvez obtenir les logs de votre application de deux manières, l'interface utilisateur web et de l'accès aux lignes de Commande.

    S'il vous plaît aller à travers le document ci-dessous qui vous donne une information très claire sur ce journal d'agrégation de la mise en œuvre sur le FILS.

    http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/

    Merci à l'auteur du blog, Vinod Kumar Vavilapalli.

    OriginalL'auteur Kiran G