le programme d'installation et de nettoyage méthodes de Mapper/Réducteur dans Hadoop MapReduce

Sont de configuration et de nettoyage méthodes appelées dans chaque mappeur et réducteur de tâches respectivement? Ou sont-ils appelé qu'une seule fois au début de global mapper et réducteur de l'emploi?

InformationsquelleAutor kee | 2012-06-04
  1. 21

    Ils sont appelés pour chaque tâche, donc si vous avez 20 mappeurs en cours d'exécution, le programme d'installation /de nettoyage sera appelée pour chaque un.

    Un gotcha est la norme de la méthode run pour les deux Mappeur et Réducteur de ne pas attraper les exceptions autour de la carte /réduire méthodes - donc, si une exception est levée dans ces méthodes, le nettoyage de la méthode ne sera pas appelé.

    • On peut toujours faire appel à méthode de nettoyage dans la clause catch de une exception dans map/reduce. Toutefois, cela exige d'analyse intelligent des exceptions possibles et de mettre en try/catch clauses de les attraper.
    InformationsquelleAutor Chris White
  2. 5

    Une clarification est utile. Le programme d'installation/méthodes de nettoyage sont utilisés pour l'initialisation et le nettoyer au niveau de la tâche. Au sein d'une tâche, l'initialisation se passe avec un seul appel de méthode setup() et ensuite tous les appels à la carte() [ou de réduire()] la fonction qui va être fait. Après un autre appel sera fait à cleanup() la méthode avant de sortir de la tâche.

    InformationsquelleAutor user3163904
  3. 3

    Il est appelé par la tâche du Mappeur ou Réducteur de la tâche.
    Voici les hadoop code.

    public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    try {
      while (context.nextKey()) {
        reduce(context.getCurrentKey(), context.getValues(), context);
      }
    } finally {
      cleanup(context);
    }
  }
    InformationsquelleAutor KaiZhao
  4. 1

    Selon la documentation sur mapreduce
    le programme d'installation et de nettoyage sont appelés pour chaque Mappeur et Réducteur de tâches.

    InformationsquelleAutor Dheeraj Verma
  5. 1

    sur le réducteur, vous pouvez sur le travail faire le travail.setNumReduceTasks(1); et de cette façon, l'installation et le nettoyage de l'réducteur seront les seuls à être exécuté une seule fois.

    InformationsquelleAutor Astronaut