Comment supprimer des fichiers du HDFS?
Je viens de télécharger hortonworks a sandbox VM, à l'intérieur il y a Hadoop avec la version 2.7.1. Je l'ajout de certains fichiers à l'aide de la
hadoop fs -put /hw1/* /hw1
...de commande. Après elle je suis la suppression de l'ajout de fichiers, par la
hadoop fs -rm /hw1/*
...de commande, et après le nettoyage de la corbeille, par le
hadoop fs -expunge
...de commande. Mais le DFS espace Restant pas changé après recycler bin nettoyés. Même moi, je peux voir que les données ont été véritablement supprimé de l' /hw1/et de les recycler bin. J'ai le fs.trash.interval parameter = 1
.
Effectivement je peux retrouver toutes mes données diviser en morceaux dans le /hadoop/hdfs/data/current/BP-2048114545-10.0.2.15-1445949559569/current/finalized/subdir0/subdir2
dossier, et c'est vraiment me surprend, parce que je m'attends à être supprimé.
Donc ma question comment faire pour supprimer les données de la façon qu'ils va vraiment être supprimé? Après quelques ajout et de suppression, je suis épuisé d'espace libre.
source d'informationauteur serg
Vous devez vous connecter pour publier un commentaire.
Votre problème est à l'intérieur de la base de HDFS. Dans HDFS (et dans de nombreux autres systèmes de fichiers) physique de la suppression de fichiers n'est pas le plus rapide des opérations. Que HDFS est le système de fichiers distribués et généralement de reproduire au moins 3 répliques sur les différents serveurs de fichiers supprimés chaque réplique (qui peut consister en de nombreux blocs sur différents disques durs) doivent être supprimés en arrière-plan après votre demande de supprimer le fichier.
La documentation officielle de Hadoop, nous dit le texte suivant:
Essayer
hadoop fs -rm -R URI
Option-R supprime le répertoire et tout contenu sous récursivement.
ce qui fonctionne pour moi :
Durga Viswanath Gadiraju est droit, il est question de temps, peut-être que mon PC est lent, et utilise également VM, après 10 minutes, les fichiers sont physiquement supprimé si vous êtes à l'aide de l'algorithme utilisé par moi-même à la question.
Remarque configurer le fs.corbeille.intervalle de paramètre = 1. Ou par défaut, les fichiers ne seront pas supprimés plus vite que 6 heures.