Erreur: espace de tas Java

Dans Ubuntu, quand je suis en cours d'exécution à hadoop exemple :

$bin/hadoop jar hadoop-examples-1.0.4.jar grep input output 'dfs[a-z.]+' 

$echo $HADOOP_HEAPSIZE
2000

Dans le journal, j'obtiens l'erreur :

INFO mapred.JobClient: Id de Tâche : attempt_201303251213_0012_m_000000_2,
Statut : ÉCHEC de la
Erreur: Java heap space 13/03/25 15:03:43 INFO mapred.JobClient: Id de Tâche :attempt_201303251213_0012_m_000001_2, Statut : ÉCHEC de l'Erreur:
Java heap space13/03/25 15:04:28 INFO mapred.JobClient: Travail A Échoué: #
de l'échec de la Carte de Tâches dépassé la limite autorisée. FailedCount: 1.
LastFailedTask: task_201303251213_0012_m_000000
java.io.IOException: Travail a échoué! au
org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1265)
org.apache.hadoop.des exemples.Grep.exécuter(Grep.java:69) à
org.apache.hadoop.util.ToolRunner.exécuter(ToolRunner.java:65) à
org.apache.hadoop.des exemples.Grep.principale(Grep.java:93)

Laissez-nous savoir quel est le problème.

source d'informationauteur Senthil Porunan

  1. 42

    Clairement, vous n'avez plus de la taille de segment de mémoire alloué à Java. Si vous essayez de l'augmenter.

    Pour que vous pouvez exécuter les opérations suivantes avant d'exécuter hadoop commande:

    export HADOOP_OPTS="-Xmx4096m"

    Alternativement, vous pouvez réaliser la même chose par adjonction permanente paramètre dans votre mapred-site.xml fichier, ce fichier se trouve dans HADOOP_HOME/conf/ :

    <property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx4096m</value>
</property>

    Ce serait votre java heap space à 4096 MO (4 GO), vous pouvez même essayer avec une valeur plus faible d'abord si cela fonctionne. Si ce ne fonctionne pas, alors l'augmenter plus si votre ordinateur prend en charge, si ce n'est de passer ensuite à une machine ayant plus de mémoire et d'essayer. Comme des tas d'espace signifie simplement que vous n'avez pas assez de RAM disponible pour Java.

    Mise à JOUR: Pour Hadoop 2+, les modifications de l' mapreduce.carte.java.opte à la place.

  2. 6
    <property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx4096m</value>
</property>

    Fonctionne pour moi.

    exportation HADOOP_OPTS="-Xmx4096m"

    ne fonctionne pas

  3. 2

    L'utilisation d'Hadoop 2.5.0-cdh5.2.0, il a travaillé pour moi de changer la taille du segment de mémoire de la locale (séquentiel) processus java:

    export HADOOP_HEAPSIZE=2900
hadoop jar analytics.jar .....

    La raison pour laquelle il a travaillé, c'est que /usr/lib/hadoop/libexec/hadoop-config.sh a

    # check envvars which might override default args
if [ "$HADOOP_HEAPSIZE" != "" ]; then
  #echo "run with heapsize $HADOOP_HEAPSIZE"
  JAVA_HEAP_MAX="-Xmx""$HADOOP_HEAPSIZE""m"
  #echo $JAVA_HEAP_MAX
fi
  4. 0

    Si vous ajoutez de la propriété sur mapred-site.xml

    <property>
   <name>mapred.child.java.opts</name>
  <value>-Xmx2048m</value>
</property>

    Parfois, il arrive un autre
    car il a plus que limite de mémoire virtuelle
    Dans cette situation,
    vous devez ajouter 

    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>4.2</value>
</property>

    sur yarn-site.xml

    en raison de son défaut de 2,1 G parfois trop petit.