Nombre de fichiers dans un répertoire HDFS

Dans du code Java, je veux me connecter à un répertoire dans HDFS, connaître le nombre de fichiers dans ce répertoire, obtenir leurs noms et que vous voulez lire. Je peux déjà lire les fichiers, mais je ne pouvais pas comprendre comment calculer le nombre de fichiers dans un répertoire et d'obtenir les noms de fichier comme un autre répertoire.

Afin de lire, je utiliser DFSClient et d'ouvrir les fichiers dans InputStream.

Vous pouvez le faire de manière récursive.
comment puis-je le faire de manière récursive? @user2486495

OriginalL'auteur user1125953 | 2013-12-04

  1. 22

    compter

    Usage: hadoop fs -count [-q] <paths>

    Compter le nombre de répertoires, de fichiers et d'octets dans les sentiers qui correspondent le fichier spécifié modèle. La sortie des colonnes sont:
    DIR_COUNT, NUMÉRO_FICHIER, CONTENT_SIZE FILE_NAME.

    Les colonnes de sortie avec -q:
    QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, NUMÉRO_FICHIER, CONTENT_SIZE, NOM_FICHIER.

    Exemple:

    hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
hadoop fs -count -q hdfs://nn1.example.com/file1

    Code De Sortie:

    Retourne 0 en cas de succès et -1 en cas d'erreur.

    Vous pouvez simplement utiliser le système de fichiers et de parcourir les fichiers à l'intérieur du chemin. Voici un exemple de code

    int count = 0;
FileSystem fs = FileSystem.get(getConf());
boolean recursive = false;
RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("hdfs://my/path"), recursive);
while (ri.hasNext()){
    count++;
    ri.next();
}
    Désolé, je n'ai pas mentionné dans ce post, je tiens à le faire dans du code Java.
    Bonjour. Au lieu de poster deux réponses, vous pouvez simplement modifier la réponse si elle n'est pas pertinente et avoir de réponse unique à la place. Plusieurs obsolètes les postes ne sont pas une bonne chose dans la Pile-sites d'Échange et généralement obtenir downvoted, marqué ou supprimé. Cette réponse correspond à ce critère. S'il vous plaît, d'envisager la suppression ou la fusion avec votre autre post.

    OriginalL'auteur user2486495

  2. 10
    FileSystem fs = FileSystem.get(conf);
Path pt = new Path("/path");
ContentSummary cs = fs.getContentSummary(pt);
long fileCount = cs.getFileCount();

    OriginalL'auteur user1125953

  3. 6

    vous pouvez également essayer:

    hdfs dfs -ls -R /path/to/your/directory/ | grep -E '^-' | wc -l

    OriginalL'auteur Eric

  4. 2

    Sur la ligne de commande, vous pouvez le faire ci-dessous.

     hdfs dfs -ls $parentdirectory | awk '{system("hdfs dfs -count " $6) }'
    Dû changer de $6 $8 mais a bien fonctionné autrement

    OriginalL'auteur Akarsh