Comment puis-je debug Hadoop map réduire

im essayant de construire une carte de réduire l'emploi.

il fonctionne à l'achèvement de les présenter bizarre données à la fin.

quand j'essaie de le corriger à l'aide du système..println("données de débogage")
il ne marche pas sur l'écran.

à l'aide de l'API java pour produire un fichier journal externe, essayez d'imprimer à l'écran à l'aide du journal.grave("enregistrement des données") ou de l'utilisation de log4j enregistreur de méthode log.info(journal de données) ne fonctionnent pas/

rien ne fonctionne, la seule fois que je vois mes messages de débogage, c'est quand il y a une exception dans la carte de réduire l'emploi.

comment peut-il être fixé de sorte que je peux voir mes messages de débogage sur un fichier ou sur l'écran?

À l'aide println n'est pas le débogage. C'est le suivi.
Peut-être que vous n'avez pas de journalisation suffisant (stackoverflow.com/questions/4821134/hadoop-enable-logging)? Même Système..println() peut être redirigé

OriginalL'auteur Gabriel H | 2012-10-02

  1. 3

    Cette réponse peut aider. Hadoop capture du Système.pour son propre travail de suivi système de journalisation.

    thx qui semble être adéquate espérons que mal de gérer à comprendre le problème

    OriginalL'auteur Jason Sperske

  2. 3

    Vous pouvez essayer de Jumbune

    De leur guide:

    Débogueur fournit le code de contrôle du niveau de débit de la statistique de l'exécution de la tâche MapReduce. L'utilisateur peut appliquer des regex validations ou
    défini par l'utilisateur classes de validation. Comme par l'appliqué de la validation, le Débogueur de Flux vérifie le flux de données d'entrée de n-uplets
    essentiellement paire de données pour chaque mappeur et réducteur dans la demande d'emploi.

    Jumbune offre une gamme complète de table/vue graphique représentant le flux d'enregistrements d'entrée par le travail. Le flux est
    affiché au niveau de la tâche, MapReduce niveau, et le niveau de l'instance. Inégalée les clés/valeurs représentent le nombre de
    inattendus de flux de données à travers le travail. Débogueur exercices vers le bas dans le code pour examiner le flux de données pour
    compteurs différents, tels que les boucles et si, d'autre-si, etc.

    OriginalL'auteur Mash

  3. 1

    Puisque vous êtes de traitement de grands volumes de données, la taille de vos messages de traçage peut être énorme, de sorte qu'il peut poser un problème. Il est utile d'envisager des alternatives à "le système de..println" style de journalisation:

    • utiliser des Compteurs (ici est un simple exemple)
    • écrire des journaux à HDFS à l'aide de MultipleOutputs

    La meilleure chose à propos de Comptoirs et MultipleOutputs - vous pouvez de façon programmée d'accès, en cas de MultipleOutputs vous pouvez même exécuter map/reduce tâche pour en extraire des statistiques à partir de grumes.

    Une autre alternative pour le débogage sur l'environnement de production est de tests unitaires, MiniMRCluster va vous aider à tester votre carte-réduction des emplois au cours des tests unitaires.

    OriginalL'auteur rystsov

  4. 0

    Je développe ma map/reduce code dans Eclipse à l'aide de maven pour construire le pot d'exécution et de gérer les dépendances. Une fois que j'ai hadoop installé et fonctionne sur ma machine à l'appui de HDFS, je peux exécuter et de déboguer mon code dans Eclipse. Cela signifie que l'aide des points d'arrêt et tout le reste de l'Éclipse de débogage point de vue.

    OriginalL'auteur Chris Gerken