Comment puis-je voir mon travail Hadoop de l'histoire et des journaux à l'aide CDH4 et de Fils?

J'ai téléchargé le CDH4 de goudron pour Hadoop avec de la Laine, et les travaux sont en cours d'exécution fine, mais je ne peux pas comprendre où pour afficher les journaux de mon travail. Dans MRv1, j'ai simplement le JobTracker web app, et il avait la tâche de l'histoire. Les différents travaux journaux étaient accessibles à partir d'ici, ou en allant à des journaux/userlogs répertoire.

Dans mon nouveau Fil d'installation (juste en cours d'exécution sur un seul ordinateur), j'ai le répertoire des journaux, mais pas de journaux/userlogs dossier.

Quand je vais à la classe ResourceManager page web, localhost:8088, il y a un "Toutes les Applications", mais pas les entrées de montrer ici. Quand je vais à la JobHistory page web, localhost:19888, il n'y a pas d'emplois répertoriés.

Je me demandais si il y a un problème de configuration. Voici mon yarn-site.xml les entrées:

<property>
  <name>yarn.nodemanager.local-dirs</name> 
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value>
</property> 
<property> 
  <name>yarn.nodemanager.log-dirs</name>
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>
<property>
  <name>yarn.app.mapreduce.am.staging-dir</name>
  <value>/user</value>
</property>

Des conseils sur ce qu'il faut de débogage sont grandement appréciés.

Mise à jour:, j'ai vérifié le nodemanager journal dir, et il est vide. En outre, la jobhistory répertoires sont vides. Une chose étrange est que Hadoop me dit, INFO mapreduce.Job: The url to track the job: http://localhost:8080/, mais cette adresse n'est pas disponible lorsque j'ai essayer de navigateur.

Mise à jour #2: j'ai remarqué que chaque tâche I run a le même ID de la Tâche ("job_local_0001"). Cela semble être un problème de configuration quelque part.

J'ai été en mesure de résoudre le même problème lors de l'utilisation de la hapoop-client de l'api java. Espérons que cette aide. stackoverflow.com/questions/21345022/...

OriginalL'auteur Dolan Antenucci | 2012-12-01

  1. 7

    Il semble que les emplois qui sont en cours d'exécution en local et pas sur le FILS. Pour faire exécuter les travaux sur le FIL, assurez-vous d'avoir dans votre mapred-site.xml:

    <property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>

    En général, vous aurez probablement obtenir une réponse plus rapide sur ce genre de questions par courriel à l'cdh-user mailing liste.

    OriginalL'auteur Sandy Ryza

  2. 2

    Ajouter la configuration suivante dans mapred-site.xml fichier

    <property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>

    et supprimer jobhistory des configurations spécifiques que vous avez mis en yarn-site.xml par exemple. ci-dessus deux dernières configs de yarn-site.xml

    OriginalL'auteur mehikmat