Pratiques Standard pour la connexion de tâches MapReduce

Vous pouvez utiliser log4j qui est la valeur par défaut de journalisation que hadoop utilise. Donc, à partir de votre application MapReduce vous pourriez faire quelque chose comme ceci:

import org.apache.log4j.Logger;
//other imports omitted

public class SampleMapper extends Mapper<LongWritable, Text, Text, Text> {
    private Logger logger = Logger.getLogger(SampleMapper.class);

    @Override
    protected void setup(Context context) {
        logger.info("Initializing NoSQL Connection.")
        try {
            //logic for connecting to NoSQL - ommitted
        } catch (Exception ex) {
            logger.error(ex.getMessage());
        }
    }

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //mapper code ommitted
    }
}        

Cet exemple de code d'utilisateur log4j enregistreur de journal des événements pour les hérité Mappeur de l'enregistreur. Tous les journaux d'événements seront enregistrés à leur tâche respective du journal. Vous pourrez visiter les journaux de tâches de soit JobTracker(MRv1)/classe ResourceManager(MRv2) page web.

Si vous utilisez fil vous pouvez accéder aux journaux d'application en ligne de commande à l'aide de la commande suivante:

yarn logs -applicationId <application_id>

Tandis que si vous utilisez mapreduce v1, il n'y a pas un seul point d'accès en ligne de commande; par conséquent, vous devez vous connecter chaque TaskTracker et de regarder dans la configuration de la voie généralement /var/log/hadoop/userlogs/attempt_<job_id>/syslog spécifié dans ${hadoop.log.dir}/userlogs contient log4j de sortie.

OriginalL'auteur Ashrith