comment nettoyer les hadoop-hdfs logs dans /var/log/hadoop-hdfs

mon nom de nœud dans le cluster hadoop tourné en mauvaise santé parce que "Le rôle du répertoire des journaux est pas un système de fichiers avec moins de 4 go d'espace libre. /var/log/hadoop-hdfs (gratuit: 2.4 GO (11.12%), capacité:21.7 GO"

J'ai regardé dans ce dossier et constaté que j'ai 5.5 GO de fichiers journaux appelé "hdfs-audit.journal.0" -"hdfs-audit.journal.20". J'ai lu ces fichiers et je n'ai vraiment pas besoin d'enregistrer ces journaux. Je me demande est-il un moyen de les supprimer définitivement et de ne jamais générer de nouveau? ( J'ai essayé de les supprimer manuellement, mais il semble qu'ils y revint après quelques heures.)

J'ai aussi essayé d'ajouter "log4j.enregistreur.org.apache.hadoop.hdfs.serveur.namenode.FSNamesystem.audit=WARN,NullAppender" dans mon /etc/hadoop/conf/log4j.les propriétés. Mais elle n'empêche pas ces fichiers à partir d'un "retour".

Merci pour votre aide d'avance!

Quelle est la version d'hadoop êtes-vous en cours d'exécution? Avez-vous redémarré le namenode après le changement de la log4j.fichier de propriétés?
J'ai repris tout à l'heure et 5,5 G de vérification des fichiers journaux sont encore sous /var/log/hadoop-hdfs. Dois-je supprimer manuellement puis de nouveau, puis redémarrez à nouveau?
Et la version est Hadoop 2.0.0-cdh4.3.0. Merci!!!!
Yay!!! Elle remonte à la santé après que j'ai supprimé manuellement et redémarré. Merci pour votre aide!
Puis-je supprimer manuellement un fichier de log?

OriginalL'auteur Heidi Qiao | 2013-08-12

  1. 4

    Tout d'abord, Hadoop est conçu pour beaucoup plus de capacité que ceux que vous mentionnez, ce qui signifie que de 5,5 GO journaux ne sont pas que beaucoup de d'habitude. C'est ce qui explique pourquoi les paramètres par défaut n'est pas approprié dans votre cas.

    Vous pouvez:

    • réduire le nombre de fichiers journaux qui sont conservés avec la variable navigator.audit_log_max_backup_index (généralement 10)
    • ou la max la taille du fichier journal avec navigator.audit_log_max_file_size
    Merci!! Il a été un moment depuis que j'ai posté le problème, mais je pense que nous avons terminé la modification de la log_max_file_size pour résoudre le problème. Oui, nous avons été d'expérimenter quelque chose sur un petit cluster de façon à ce que les machines n'ont pas de grandes capacités.
    où puis-je définir ces variables? Dois-je recommencer datanode pour que ces modifications reflètent?

    OriginalL'auteur Pixou