Recherche de répertoires de plus de N jours dans HDFS

Peut hadoop fs -ls être utilisé pour trouver tous les répertoires de plus de N jours (à partir de la date actuelle)?

Je suis en train d'écrire un nettoyage de routine pour trouver et supprimer tous les répertoires sur HDFS (correspondant à un modèle) qui ont été créés à N jours avant la date actuelle.

source d'informationauteur vid12

  1. 16

    Ce script la liste de tous les répertoires qui sont âgés de plus de [days] :

    #!/bin/bash
usage="Usage: $0 [days]"

if [ ! "$1" ]
then
  echo $usage
  exit 1
fi

now=$(date +%s)
hadoop fs -lsr | grep "^d" | while read f; do 
  dir_date=`echo $f | awk '{print $6}'`
  difference=$(( ( $now - $(date -d "$dir_date" +%s) ) /(24 * 60 * 60 ) ))
  if [ $difference -gt $1 ]; then
    echo $f;
  fi
done
  2. 4

    Pour de vrai clusters n'est pas une bonne idée,
    pour utiliser la commande ls. Si vous avez les droits d'admin,
    il est plus approprié d'utiliser fsimage.

    J'ai modifier le script ci-dessus pour illustrer l'idée.

    tout d'abord, récupérez fsimage

    curl "http://localhost:50070/getimage?getimage=1&txid=latest" > img.dump

    convertir en texte (même sortie que lsr donne)

    hdfs oiv -i img.dump -o fsimage.txt

    Script:

    #!/bin/bash
usage="Usage: dir_diff.sh [days]"

if [ ! "$1" ]
then
  echo $usage
  exit 1
fi

now=$(date +%s)
curl "http://localhost:50070/getimage?getimage=1&txid=latest" > img.dump
hdfs oiv -i img.dump -o fsimage.txt
cat fsimage.txt | grep "^d" | while read f; do 
  dir_date=`echo $f | awk '{print $6}'`
  difference=$(( ( $now - $(date -d "$dir_date" +%s) ) /(24 * 60 * 60 ) ))
  if [ $difference -gt $1 ]; then
    echo $f;
  fi
done
  3. 4

    Si vous arrive d'être en utilisant CDH de distribution d'Hadoop, il est livré avec une très utile HdfsFindTool de commande, qui se comporte comme Linux find de commande.

    Si vous utilisez la valeur par défaut des parcelles d'informations, voici comment vous pouvez le faire:

    hadoop jar /opt/cloudera/parcels/CDH/jars/search-mr-*-job.jar \
org.apache.solr.hadoop.HdfsFindTool -find PATH -mtime +N

    Où vous remplacez le CHEMIN avec le chemin de recherche et de N avec un nombre de jours.

  4. 0

    hdfs dfs -ls /hadoop/chemin/*.txt|awk '$6 < "2017-10-24"'