Comment trouver la taille d'un fichier HDFS

Comment trouver la taille d'un fichier HDFS? Quelle commande doit être utilisé pour trouver la taille de n'importe quel fichier dans HDFS.

InformationsquelleAutor priya | 2012-07-20

hadoop hdfs

19

Vous pouvez utiliser hadoop fs -ls de commande pour lister les fichiers dans le répertoire en cours ainsi que leurs coordonnées. La 5ème colonne dans la sortie de commande contient la taille du fichier en octets.

Pour, par exemple, la commande hadoop fs -ls input donne la sortie suivante:
```
Found 1 items
-rw-r--r--   1 hduser supergroup      45956 2012-07-19 20:57 /user/hduser/input/sou
```
La taille de fichier sou est 45956 octets.
- Comment feriez-vous pour la sortie de la taille de la forme lisible par l'homme? -ls - lah ne fonctionne pas ici
InformationsquelleAutor abhinavkulkarni
31

Je trouve aussi moi-même à l'aide de hadoop fs -dus <path> beaucoup. Par exemple, si un répertoire sur HDFS nommé "/utilisateur/frylock/entrée" contient 100 fichiers et vous avez besoin de la taille totale de tous ces fichiers, vous pourriez exécuter:
```
hadoop fs -dus /user/frylock/input
```
et vous obtenez de retour de la taille totale (en octets) de tous les fichiers dans "/utilisateur/frylock/entrée d'annuaire".

Aussi, gardez à l'esprit que HDFS stocke les données de manière redondante de sorte que le stockage physique réel utilisé par un fichier peut être 3x ou plus de ce qui est rapporté par hadoop fs -ls et hadoop fs -dus.
- En outre, le dernier point - le facteur de réplication est le nombre qui s'affiche après que les autorisations de drapeaux, et avant que le propriétaire (2ème colonne dans @adhunavkulkarni réponse)
- hadoop fs -du-s <path> pour les versions plus récentes
- Utilisation hadoop fs -du -s -h /user/frylock/input pour un beaucoup plus lisible de sortie.
InformationsquelleAutor Paul M

J'ai utilisé le dessous de la fonction qui m'a aidé à obtenir la taille du fichier.

public class GetflStatus
{
    public long getflSize(String args) throws IOException, FileNotFoundException
    {
        Configuration config = new Configuration();
        Path path = new Path(args);
        FileSystem hdfs = path.getFileSystem(config);
        ContentSummary cSummary = hdfs.getContentSummary(path);
        long length = cSummary.getLength();
        return length;
    }
}

Pouvez-vous me dire si cela renvoie 7906 alors, quelle est la taille de ce répertoire? Est-il en octets ou en kbs?
Il donne sans doute vous en octets

InformationsquelleAutor user3315248

Voir la commande ci-dessous avec le script awk pour voir la taille (en GO) de filtre de sortie dans HDFS:

hadoop fs -du -s /data/ClientDataNew/**A***  | awk '{s+=$1} END {printf "%.3fGB\n", s/1000000000}'

de sortie ---> 2.089 GO

hadoop fs -du -s /data/ClientDataNew/**B***  | awk '{s+=$1} END {printf "%.3fG\n", s/1000000000}'

de sortie ---> 1.724 GO

hadoop fs -du -s /data/ClientDataNew/**C***  | awk '{s+=$1} END {printf  "%.3fG\n", s/1000000000}'

de sortie ---> 0.986 GO

InformationsquelleAutor Eddy Joseph

2

Si vous voulez le faire par le biais de l'API, vous pouvez utiliser 'getFileStatus()' méthode.
- Il n'est pas droit, il n'a pas de retour de la taille du fichier il de retour bloc alloué taille qui ne sera pas zéro pour les fichiers vides.La valeur par défaut est 67108864.
InformationsquelleAutor Tariq
1
```
hdfs dfs -du -s -h /directory
```
C'est la version lisible par l'homme, sinon il va donner de mauvaises unités (légère plus)

InformationsquelleAutor Jason

Vous devez vous connecter pour publier un commentaire.