Hadoop Mapper est un échec en raison de “Conteneur tué par la ApplicationMaster”

Je suis en train d'exécuter une carte de réduire le programme sur Hadoop.

Quand je soumettre mon travail à la hadoop seul nœud de cluster. Le travail est créé, mais échoue avec le message

"Conteneur tué par la ApplicationMaster"

L'entrée utilisée est de la taille de 10 MO.

Lorsque j'ai utilisé le même script de fichier d'entrée de 400 KO, il a réussi. Mais à défaut pour le fichier d'entrée de taille de 10 MO.

Le journal complet qui s'affiche dans mon terminal est comme suit.

    15/05/29 09:52:16 WARN util.NativeCodeLoader: Unable to `load native-  hadoop library for your platform... using builtin-java classes      where applicable
Submitting job on the cluster...
15/05/29 09:52:17 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/05/29 09:52:18 INFO input.FileInputFormat: Total input paths to process : 1
15/05/29 09:52:18 INFO mapreduce.JobSubmitter: number of splits:1
15/05/29 09:52:19 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1432910768528_0001
15/05/29 09:52:19 INFO impl.YarnClientImpl: Submitted application application_1432910768528_0001
15/05/29 09:52:19 INFO mapreduce.Job: The url to track the job: http://localhost:8088/proxy/application_1432910768528_0001/
15/05/29 09:52:19 INFO mapreduce.Job: Running job: job_1432910768528_0001
15/05/29 09:52:29 INFO mapreduce.Job: Job job_1432910768528_0001 running in uber mode : false
15/05/29 09:52:29 INFO mapreduce.Job:  map 0% reduce 0%
15/05/29 09:52:41 INFO mapreduce.Job:  map 100% reduce 0%
15/05/29 10:03:01 INFO mapreduce.Job:  map 0% reduce 0%
15/05/29 10:03:01 INFO mapreduce.Job: Task Id : attempt_1432910768528_0001_m_000000_0, Status : FAILED
AttemptID:attempt_1432910768528_0001_m_000000_0 Timed out after 600 secs
Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

Mon mappeur ici est le déclenchement de l'autre programme qui va traiter mon fichier d'entrée ici. Le programme qui se déclencher par mappeur généralement consomme beaucoup de mémoire.

De sorte s'il vous plaît aidez-moi à cet égard.

Salut user3854185, pourriez-vous s'il vous plaît partagez-moi comment avez-vous effacer cette erreur . Suis aussi en face d'un même problème ?

OriginalL'auteur user3854185 | 2015-05-29

  1. 10

    Comprennent des paramètres ci-dessous dans yarn-site.xml et redémarrez VM,

    <property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<description>Whether virtual memory limits will be enforced for containers</description>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>4</value>
<description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
</property>

    OriginalL'auteur Nagendra

  2. 3

    Un conteneur est un fils de processus de JVM. Dans Mapreduce l'application de service principal, mappeur et réducteur de tâches sont tous les conteneurs qui s'exécutent à l'intérieur du fil de cadre.

    Vous pouvez résoudre ce problème en soit augmenter le nombre de réducteurs ( dire mapreduce.job.reduces=10 ) ou par l'augmentation de la réduction de la taille du segment ( mapreduce.reduce.java.opts=-Xmx2014m )

    Si vous voulez avoir un nombre fixe de réducteur au moment de l'exécution, vous pouvez le faire en passant la Carte/Réduire le travail à la ligne de commande. À l'aide de -D mapreduce.job.reduces=10 avec le nombre souhaité se frayer que de nombreux réducteurs en exécution.

    Dans le code,vous pouvez configurer JobConf variable pour définir le nombre de cartographes et les réducteurs. Disons que nous avons JobConf variable d'emplois.

    Configuration conf = new Configuration();
Job job = new Job(conf);
job.setNumReduceTasks(10); //10 reducers

    Vous pouvez également diviser le fichier en taille plus petite pour ce travail particulier pour éviter le problème de mémoire.

    Si vous êtes encore en train de problème, veuillez vérifier les fils du journal et de la publier dans le journal.

    OriginalL'auteur Sandeep Singh