qu'est-ce que le répertoire /tmp dans hadoop hdfs?

J'ai cluster de 4 datanodes et hdfs structure sur chaque nœud est comme ci-dessous

qu'est-ce que le répertoire /tmp dans hadoop hdfs?

Je suis confronté à problème d'espace disque , comme vous pouvez le voir le /tmp dossier de hdfs a occupé plus d'espace(217GB). J'ai donc essayé d'analyser les données de /tmp dossier. J'ai trouvé la suite les fichiers temporaires. J'ai eu accès à ces dossiers temp chacun contient une partie des fichiers de 10 go à 20 go en taille.
Je veux effacer ce répertoire /tmp. quelqu'un peut s'il vous plaît laissez-moi savoir les conséquences de la suppression de ces répertoires tmp ou partie des fichiers. Elle affectera mon cluster?

qu'est-ce que le répertoire /tmp dans hadoop hdfs?

OriginalL'auteur sandip divekar | 2014-07-22

  1. 15

    HDFS répertoire /tmp principalement utilisé comme un stockage temporaire lors de mapreduce opération. Mapreduce des artefacts, des données intermédiaires, etc. seront conservés en vertu de ce répertoire. Ces fichiers seront automatiquement effacés lorsque mapreduce l'exécution de la tâche est terminée. Si vous supprimez ces fichiers temporaires, il peut affecter le cours d'exécution de tâches mapreduce.

    Fichiers temporaires sont créés par de porc. Suppression de fichiers temporaires qui se passe à la fin. Cochon ne gère pas la suppression de fichiers temporaires si l'exécution du script a échoué ou ont été tués. Ensuite, vous avez à gérer cette situation. De vous permettre de mieux gérer cette fichiers temporaires propre activité dans le script lui-même.

    Article suivant vous donne une bonne compréhension

    http://www.lopakalogic.com/articles/hadoop-articles/pig-keeps-temp-files/

    Salut , Ces répertoire /tmp fichiers ne sont pas d'être supprimés automatiquement. pouvez-vous partager les noms de fichiers où nous pouvons nous définir l'option de suppression automatique des fichiers.Et si ces fichiers sont de mapreduce opérations alors pourquoi la taille de /tmp est de 217 Gb.
    Vous pouvez poster à la sortie de la commande suivante ? hadoop fs -lsr /tmp/temp-2050991966/tmp-184805992
    1) 2014-07-21 11:09 /tmp/temp-2050991966/tmp-184805992/_SUCCESS 2) 2014-07-21 11:07 /tmp/temp-2050991966/tmp-184805992/_logs 3) 2014-07-21 11:09 /tmp/temp-2050991966/tmp-184805992/_logs/history 4) 2014-07-21 11:09 /tmp/temp-2050991966/tmp-184805992/_logs/history/job_201405161515_15124_1405921062606_ocuser_PigLatin%3AOC_Generate_Connect_Strength.pig 5)278029 2014-07-21 11:07 /tmp/temp-2050991966/tmp-184805992/_logs/history/job_201405161515_15124_conf.xml 6)2014-07-21 11:08 /tmp/temp-2050991966/tmp-184805992/part-m-00000 7)2014-07-21 11:08 /tmp/temp-2050991966/tmp-184805992/part-m-00001
    Commande ci-dessus affiche de nombreux fichier de pièce..j'ai écrit 6 premiers fichiers
    Le cochon n'a pas de poignées de suppression de fichiers temporaires si l'exécution du script a été déposée ou tués. Peut-on utiliser de nouveau ces données par l'exécution d'un même travail.

    OriginalL'auteur SachinJ