Quelle est la durée maximale du conteneur(s) dans un seul nœud de cluster (hadoop)?

Je suis nouveau dans hadoop et je ne suis pas encore familier de sa configuration.

Je veux juste vous demander le maximum de conteneurs par nœud.

Je suis à l'aide d'un seul nœud de cluster (6 GB de ram ordinateur portable)

et ci-dessous est mon mapred et de fils de configuration:

**mapred-site.xml**
map-mb : 4096 opts:-Xmx3072m
reduce-mb : 8192 opts:-Xmx6144m

**yarn-site.xml**
resource memory-mb : 40GB
min allocation-mb : 1GB

La configuration ci-dessus ne peut exécuter de 4 à 5 emplois. et max de 8 conteneur.

OriginalL'auteur Andrew | 2014-10-24

  1. 12

    Maximum de conteneurs qui s'exécutent sur un seul NodeManager (hadoop travailleur) dépend de beaucoup de facteurs, comme la quantité de mémoire est allouée pour la NodeManager à utiliser et dépend également de l'application des exigences spécifiques.

    Les valeurs par défaut pour yarn.scheduler.*-allocation-* sont: 1 go de ram (minimum de l'allocation), 8 GO (maximum de l'allocation), 1 de base et 32 cœurs. Donc, le minimum et le maximum de l'allocation, affecte le nombre de conteneurs par nœud.

    Donc, si vous avez 6 GO de RAM et 4 cœurs virtuels, voici comment le FILS de configuration devrait ressembler à:

    yarn.scheduler.minimum-allocation-mb: 128
yarn.scheduler.maximum-allocation-mb: 2048
yarn.scheduler.minimum-allocation-vcores: 1
yarn.scheduler.maximum-allocation-vcores: 2
yarn.nodemanager.resource.memory-mb: 4096
yarn.nodemanager.resource.cpu-vcores: 4

    La configuration ci-dessus indique hadoop à utiliser atmost de 4 go et de 4 cœurs virtuels et que chaque conteneur peut avoir entre 128 MO et 2 GO de mémoire et entre 1 et 2 cœurs virtuels, avec ces paramètres, vous pouvez exécuter jusqu'à 2 récipients avec un maximum de ressources à la fois.

    Maintenant, pour MapReduce configuration spécifique:

    yarn.app.mapreduce.am.resource.mb: 1024
yarn.app.mapreduce.am.command-opts: -Xmx768m
mapreduce.[map|reduce].cpu.vcores: 1
mapreduce.[map|reduce].memory.mb: 1024
mapreduce.[map|reduce].java.opts: -Xmx768m

    Avec cette configuration, vous pourrait théoriquement avoir jusqu'à 4 mappeurs/réducteurs en cours d'exécution simultanément dans 4 1 go de conteneurs. Dans la pratique, l'application MapReduce maître de l'utilisation d'un 1GO de récipient de sorte que le nombre de connexions simultanées cartographes et les réducteurs sera limité à 3. Vous pouvez jouer avec les limites de la mémoire, mais il peut nécessiter quelques essais pour trouver le meilleur.

    En règle générale, vous devez limiter le tas de la taille d'environ 75% de la mémoire totale disponible pour s'assurer que les choses se passent plus en douceur.

    Vous pouvez également fixer la mémoire par conteneur à l'aide de yarn.scheduler.minimum-allocation-mb propriété.

    Pour plus de détails de configuration pour les systèmes de production l'utilisation de cette document de hortonworks a comme référence.

    Il y a un seul nœud maître avec 8GO de RAM et 8VCPU cœurs et 10 nœuds esclaves avec 2 go de RAM et 1VCPU de base de chaque dans mon Hadoop 2.5.2 cluster. 5 Inputsplits sont créés pour l'application MapReduce. Un conteneur est en cours d'exécution sur un nœud esclave. Ce confgiuration permettra à mon applciaton à utiliser tous/ masx esclave ndoes. Je cherche à exécuter mon application avec 50 esclave ndoes.

    OriginalL'auteur Ashrith