Erreur dans Hadoop MapReduce

Lorsque je lance un programme mapreduce l'utilisation d'Hadoop, j'obtiens l'erreur suivante.

10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED
  java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stdout
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stderr

Quelle est cette erreur?

OriginalL'auteur Shweta | 2010-01-19

  1. 14

    Une raison Hadoop produit cette erreur, c'est quand le répertoire contenant les fichiers journaux est trop pleine. C'est une limite de la Système De Fichiers Ext3 qui ne permet qu'un maximum de 32000 liens par l'inode.

    Vérifier comment votre répertoire de logs est en hadoop/userlogs

    Un test simple pour résoudre ce problème est de simplement essayer et créer un répertoire à partir de la ligne de commande par exemple: $ mkdir hadoop/userlogs/testdir

    Si vous avez trop de répertoires dans userlogs le système d'exploitation n'arrive pas à créer le répertoire et le rapport il y a trop d'.

    cette réponse m'a sauvé la journée!
    Un million de merci. Je ne pouvais pas comprendre, trop, ce qui se passait.

    OriginalL'auteur Binary Nerd

  2. 2

    J'ai eu le même problème quand je lance hors de l'espace sur le disque avec le journal de répertoire.

    OriginalL'auteur wlk

  3. 2

    Une autre cause peut être, JVM d'Erreur lorsque vous essayez d'allouer de l'espace dédié à la JVM et il n'est pas présent sur votre machine.

    sample code:
conf.set("mapred.child.java.opts", "-Xmx4096m");

Error message:
Error occurred during initialization of VM
Could not reserve enough space for object heap

    Solution: Remplacez -Xmx avec mémoire dédiée de la valeur que vous pouvez fournir pour la JVM sur votre machine(par exemple "-Xmx1024m")

    merci man, il a été un problème pour moi

    OriginalL'auteur Thamizh

  4. 2

    Augmenter votre espace illimité. ou autre solution de réduire la mémoire allouée.

    Soin d'expliquer pourquoi ou donner des références?
    Pour augmenter l'espace - si vous avez beaucoup de mémoire avec vous et de vous attribuer limitée de la mémoire de la JVM et que vous tenez beaucoup de données dans la mémoire de la sorte, la JVM va échouer. Si vous n'avez pas beaucoup de mémoire et en raison d'une mauvaise configuration vous avez fini avec en affectant beaucoup de mémoire de sorte que vous obtiendrez ceci. Erreur s'est produite lors de l'initialisation de la VM n'a pas Pu réserver suffisamment d'espace pour des tas d'objets.

    OriginalL'auteur user1989252

  5. 0

    Si vous créez un runnable jar file dans eclipse, il vous donne l'erreur sur le système hadoop. Vous devez extraire l'exécutable. Qui a résolu mon problème.

    ? pouvez-vous expliquer?

    OriginalL'auteur Ömer Özgün Işıkman