Cochon mode Batch: comment définir le niveau de journalisation pour masquer les INFOS du journal des messages?

À l'aide d'Apache Cochon version 0.10.1.21 (rexported). Quand j'execute un script pig, il y a beaucoup d'INFO la journalisation des lignes qui ressemble à ça:

2013-05-18 14:30:12,810 [Thread-28] INFO  org.apache.hadoop.mapred.Task - Task 'attempt_local_0005_r_000000_0' done.
2013-05-18 14:30:18,064 [main] WARN  org.apache.pig.tools.pigstats.PigStatsUtil - Failed to get RunningJob for job job_local_0005
2013-05-18 14:30:18,094 [Thread-31] WARN  org.apache.hadoop.mapred.JobClient - No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
2013-05-18 14:30:18,114 [Thread-31] INFO  org.apache.hadoop.mapreduce.lib.input.FileInputFormat - Total input paths to process : 1
2013-05-18 14:30:18,254 [Thread-32] INFO  org.apache.hadoop.mapred.Task -  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@3fcb2dd1
2013-05-18 14:30:18,265 [Thread-32] INFO  org.apache.hadoop.mapred.MapTask - io.sort.mb = 10

Une commande dans le script pig ou une option de ligne de commande pour permettre le niveau d'enregistrement? Fondamentalement, je voudrais masquer l' [Thread-xx] messages d'INFOS. Seulement montrant d'AVERTISSEMENT et d'ERREUR. J'ai essayé la ligne de commande debug. Malheureusement, les messages d'INFO encore:

pig -x local -d WARN MyScript.pig

Espère qu'il y aura une solution. Merci d'avance pour toute aide.

RÉSOLU: Réponse par Loran Bendig, définir la log4j.propriétés. En voici un résumé pour la commodité

Etape 1: copier le fichier de configuration log4j dans le dossier où mon cochon scripts sont situés.

cp /etc/pig/conf.dist/log4j.properties log4j_WARN

Etape 2: Modifier log4j_WARN fichier et assurez-vous que ces deux lignes sont présentes

log4j.logger.org.apache.pig=WARN, A
log4j.logger.org.apache.hadoop = WARN, A

Etape 3: Exécution du script pig et de le charger d'utiliser l'outil de log4j

pig -x local -4 log4j_WARN MyScript.pig
Cela semble être une double question: stackoverflow.com/a/16414020
d'accord, que l'on a une meilleure réponse (par vous), mais celui-ci a un bien meilleur titre qui sera plus facile pour les gens à trouver.
double possible de Comment puis-je supprimer la dilatation des informations inutiles lors de l'utilisation de la commande DUMP pendant l'utilisation de grunt par la "pig-x local"?
lors de la configuration de -4 log4j_WARN option, vous devez passer le chemin complet vers le fichier log4j, sinon ça ne le trouve pas

OriginalL'auteur Polymerase | 2013-05-18

  1. 3

    Un autre paramètre pourrait être aussi comme ça:

    Créer un fichier nommé nolog.conf avec le contenu suivant

    log4j.rootLogger=fatal

    puis exécutez cochon comme suit

    pig -x local -4 nolog.conf

    OriginalL'auteur Vahid Mir

  2. 0

    Vous pouvez remplacer la valeur par défaut de configuration du journal (qui comprend les messages d'INFO) comme ceci:

    pig -4 log4j.properties MyScript.pig
    PAS DE TRAVAIL. J'ai copié l'original de log4j.propriétés dans le même dossier que le cochon de scripts. Ensuite, exécutez le script par pig -x local -4 myLog4J Myscript.le cochon. Il y a la même quantité de lignes INFO. Seul le [Thread-XX] a été supprimé dans les lignes du journal. Cela s'est produit si log4j.enregistreur.org.apache.cochon=WARN, d'UN ou de log4j.enregistreur.org.apache.cochon=ERREUR, UN
    Bendig la réponse est un peu plus concis, vous aurez besoin de faire un peu plus de configuration pour que cela fonctionne - regardez les liens ci-dessus.
    Je n'ai lu Lorand post, mais a manqué de remarqué une similitude dans la syntaxe.hadoop vs .cochon). En fait la ligne "log4j.enregistreur.org.apache.hadoop = erreur, Un" doit être ajoutée. Par souci de clarté, je vais éditer le post original pour inclure la réponse. Merci.

    OriginalL'auteur seedhead

  3. 0

    Vous devez définir rootLogger trop:

    log4j.rootLogger=ERROR, A
log4j.logger.org.apache.pig=ERROR, A
log4j.logger.org.apache.hadoop = ERROR, A
    Ce qui ne l' , A faire?

    OriginalL'auteur Ben Aiad