HDFS: Comment lister les fichiers de manière récursive?

Comment avez-vous, par le biais de Java, la liste de tous les fichiers (de manière récursive) en vertu d'un certain chemin dans HDFS. Je suis allé par le biais de l'API et remarqué système de fichiers.listFiles(Chemin d'accès,boolean) mais il semble que la méthode n'existe pas dans mon exemple de système de fichiers lorsque je l'initialiser.

source d'informationauteur wsb3383

  1. 11

    Vous pouvez regarder le source pour org.apache.hadoop.fs.FsShell.ls(FileStatus, FileSystem, boolean, boolean) pour votre version d'hadoop - c'est ce qui est appelée lorsque vous effectuez une hadoop fs -lsr path à partir de la ligne de commande

  2. 5

    Utilisation -R suivie par la commande ls liste les fichiers/directorires de manière récursive.

    hadoop fs -ls -R Path/Of/File

    Attributs possibles pour la commande ls sont

    -d : les Répertoires sont listés comme des fichiers ordinaires.

    -h "Formats les tailles de fichiers lisibles par l'homme de la mode plutôt que d'un nombre d'octets.

    -R "Récursivement lister le contenu des répertoires.

  3. 0
    hadoop-user@hadoop-desk ~/hadoop
$ bin/hadoop fs -lsr /user/someone_else/myfiles

-rw-r--r--   1 hadoop-user supergroup          0 2013-11-26 02:09 /user/someone_else/myfiles/file1.txt

-rw-r--r--   1 hadoop-user supergroup          0 2013-11-26 02:09 /user/someone_else/myfiles/file2.txt

drwxr-xr-x   - hadoop-user supergroup          0 2013-11-26 02:09 /user/someone_else/myfiles/subdir

-rw-r--r--   1 hadoop-user supergroup          0 2013-11-26 02:09 /user/someone_else/myfiles/subdir/anotherFile.txt