Pourquoi le FILS de java heap space erreur de mémoire?

Je veux essayer sur la configuration de la mémoire dans le FIL, donc je vais essayer de configurer certains paramètres sur yarn-site.xml et mapred-site.xml. Par la façon dont j'utilise hadoop 2.6.0. Mais, j'ai une erreur quand je fais un travail de mapreduce. Il dit comme ça :

15/03/12 10:57:23 INFO mapreduce.Job: Task Id :
attempt_1426132548565_0001_m_000002_0, Status : FAILED
Error: Java heap space
Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

Je pense que j'ai configuré, il est droit, je donne la carte.java.opte et réduire.java.choisit la petite taille = 64 MO. J'ai essayer de configurer certains paramètres, comme le changement de la carte.java.opte et réduire.java.opte sur mapred-site.xml et j'obtiens toujours cette erreur. Je pense que je ne comprends pas vraiment comment le FIL de la mémoire des œuvres. PAR la manière, pour cela, j'ai essayer sur un seul nœud de l'ordinateur.

64MO est très petite. Essayez de 1GO comme un point de départ.
Sur votre esprit, ce qui provoque cette erreur? J'ai mis 64 MO parce que ma mémoire de l'ordinateur est très petite. 64 MO est pour java processus de droit, si elle est plus petite que la laine.app.mapreduce.am.de commande choisit le ou les fils.app.mapreduce.am.de la ressource.mo. Merci de me donner une explication...Merci beaucoup

OriginalL'auteur Kenny Basuki | 2015-03-12

  1. 10

    Fil des poignées de gestion des ressources et sert également de lots charges peuvent utiliser MapReduce et en temps réel de la charge de travail.

    Il y a des paramètres de la mémoire qui peut être fixé à un Fil au niveau de conteneur et aussi à la mappeur et réducteur. La mémoire est demandée par incréments de Laine taille du récipient. Mappeur et réducteur de tâches à exécuter à l'intérieur d'un conteneur.

    mapreduce.carte.de la mémoire.mo et
    mapreduce.réduire.de la mémoire.mo

    paramètres ci-dessus décrivent supérieure de la limite de mémoire pour la carte-réduire la tâche et si la mémoire souscrit par cette tâche dépasse cette limite, le conteneur correspondant sera tué.

    Ces paramètres déterminent la quantité de mémoire maximum qui peut être attribué à mapper et de réduire les tâches respectivement.
    Prenons un exemple:
    Mapper est lié par une limite supérieure pour la mémoire qui est défini dans le paramètre de configuration mapreduce.carte.de la mémoire.mo.

    Cependant, si la valeur de fil.le planificateur.minimum-allocation-mo est supérieure à cette valeur de mapreduce.carte.de la mémoire.mo, puis le fil.le planificateur.minimum-allocation-mo soit respectée et que les contenants de cette taille.

    Ce paramètre doit être défini avec soin et si pas réglé correctement, ce qui pourrait conduire à de mauvaises performances ou de dépassement de mémoire des erreurs.

    mapreduce.réduire.java.opte et mapreduce.carte.java.opte

    La valeur de cette propriété doit être inférieure à la limite supérieure de la carte/la réduction de la tâche, tel que défini dans mapreduce.carte.de la mémoire.mo/mapreduce.réduire.de la mémoire.mo, comme il doit s'inscrire dans l'allocation de mémoire pour la carte/de réduire la tâche.

    Merci beaucoup m. gaurav pour votre aide. Par la manière, je veux vous demander encore une fois, est le nombre de carte conteneur selon la carte numéro de la tâche? Par exemple la carte numéro de la tâche est de 7, donc, si j'ai aussi 5 carte conteneur? C'est vrai que si ma carte conteneur après avoir fini de carte unique tâche de faire une autre carte tâche sans créer un nouveau conteneur? Merci beaucoup....
    Salut Kenny, je n'ai pas votre question. Pouvez-vous développer.
    Salut kenny, s'il vous plaît aller à travers ce lien, il peut vous aider. hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0
    vous avez oublié de mentionner la source de votre (?) répondre à blogs.msdn.microsoft.com/bigdatasupport/2014/11/11/...

    OriginalL'auteur Gaurav Mishra

  2. 2

    Ce que @Gaurav a dit est correct.
    J'ai eu le même problème,j'ai essayé quelque chose comme ci-dessous.Inclure les paramètres ci-dessous dans yarn-site.xml et redémarrez VM

    <property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<description>Whether virtual memory limits will be enforced for    containers</description>
</property>

<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>4</value>
<description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
</property>

    OriginalL'auteur Nagendra