Comment augmenter le nombre de conteneurs en nodemanager FIL

Un nœud dans mon FIL cluster de 64 GO de mémoire et de 24 cœurs. Je définissez les propriétés suivantes dans le yarn-site.xml:

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

Mais j'ai trouvé encore la nodemanager dans le nœud a seulement 7 conteneurs. Quelles sont les autres propriétés de ce que je dois mettre?

OriginalL'auteur kee | 2013-11-16

  1. 15

    Vous devez dire FILS de décomposer la mémoire à conteneurs ainsi, par exemple, si vous définissez la mémoire par conteneur à 2 go vous donnera 16 conteneurs

    <name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
    Merci. Votre réponse m'a fait réaliser que j'avais une faute de frappe dans ma mémoire-mo paramètre (j'avais utilisé trait de soulignement au lieu de trait d'union entre la mémoire et mo).
    J'ai 7 nœuds dans mon cluster [8GO de RAM et 4VCPUs à chaque noeuds]. Il y a mapreduce.jobsubmitter: nombre de splits: 34 pour mon application. Ma demande est de s'écraser à l'Exception d'un conteneur de lancement: ExitCodeException exitCode=134: /bin/bash: ligne 1: 3876 Interrompue (core dumped) . Comment éviter cela? Quelle doit être ma configuration, en ampred-site.xml?
    Rotem-Gal-Oz: Une Hadoop/FILS de newbie. L'OP a 64 go de mémoire. Si nous allouer 2048mb (c'est à dire 2 GO) chaque récipient, il doit obtenir le 64/2 = 32 conteneurs. Pouvez-vous expliquer pourquoi 16? Merci.
    Êtes-vous à l'aide de map/reduce -si oui, vous devez également définir les propriétés de la carte/réduction de l'allocation (comme @avner a écrit ci-dessous)
    Donc, en donnant 2 GO comme conteneur de la taille voudrait dire que mon Java Xmx ne peut pas dépasser 2 GO parce que si je le fais, alors que Java essaie d'augmenter sa taille de segment de mémoire lors de l'exécution au-delà de 2 GO, le FIL de la tuer?

    OriginalL'auteur Arnon Rotem-Gal-Oz

  2. 0

    essayez quelque chose comme:

      <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>      
  </property>

  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>2048</value>      
  </property>

    OriginalL'auteur avner