Obtenir la taille totale d'une liste de fichiers sous UNIX

Je veux exécuter un find de commande qui vous permettra de trouver un certain liste de fichiers, puis parcourir la liste de fichiers pour exécuter certaines opérations. Je tiens également à trouver la taille totale de tous les fichiers dans la liste.

Je voudrais faire la liste de fichiers, puis de faire d'autres opérations. Est-il un moyen facile pour que je puisse juste la taille totale de tous les fichiers dans la liste?

En essence je suis en train d'essayer de trouver un one-liner pour le " total_size variable dans l'extrait de code ci-dessous:

#!/bin/bash
loc_to_look='/foo/bar/location'

file_list=$(find $loc_to_look -type f -name "*.dat" -size +100M)

total_size=???

echo 'total size of all files is: '$total_size

for file in $file_list; do
         # do a bunch of operations
done
  • Vous pouvez utiliser printf "%p %s\n" dans votre find commande pour afficher le nom + la taille.
  • Si sa version de find prend en charge -printf. Une certaine forme de -exec stat -f '%z' {} \; (en fonction de la mise en œuvre du système de stat) marcherait aussi bien.
  • aussi, vous auriez alors à répartir les noms de fichiers et tailles avant la boucle for...
  • Stocker une liste de noms de fichiers dans un plat chaîne n'est pas recommandé de toute façon, puisque vous ne pouvez pas faire face avec les noms de fichiers contenant des espaces facilement.
InformationsquelleAutor HotDogCannon | 2014-02-24
  1. 41

    Vous devez simplement être en mesure de passer $file_list à du:

    du -ch $file_list | tail -1 | cut -f 1

    du options:

    • -c afficher un total
    • -h lisible par un humain (c'est à dire 17M)

    du va imprimer une entrée pour chaque fichier, suivi par le total (avec -c), nous utilisons donc des tail -1 de couper seulement la dernière ligne et cut -f 1 de couper cette ligne de la première colonne.

    • merci @sanmiguel! j'ai mis la commande dans les backticks de la variable 😀
    • Ah oui, cela pourrait également aider...
    • C'est une belle réponse, mais s'il vous plaît rappelez-vous que du tirages réels de l'utilisation du disque arrondi à un multiple de (généralement) de 4 KO au lieu de la logique de la taille du fichier. for i in {0..9}; do echo -n $i > $i.txt; done; du -ch *.txt => 40K total au lieu de 10 total.
    • Vous avez raison, mais dans ce cas, l' ±4 KO différence devient négligeable comme nous ne sommes qu'à faire avec les fichiers de plus de 100MO... 😉
    • Aussi, vérifiez votre version de du. Si vous utilisez les outils GNU, vous pourriez être en mesure d'ajouter --apparent-size à la du options pour obtenir la même taille que l'inscription ls affiche.
    • Que faire si le nom des fichiers dans le $files_list contenir l'espace? J'ai essayé de s'échapper de l'espace avec \ mais pas de chance.
    • Pouvez-vous mettre à jour votre réponse à inclure la recommandation pour --apparent-size?

    InformationsquelleAutor sanmiguel
  2. 19

    Les méthodes expliquées ici ont caché bug. Lorsque le fichier de la liste est long, il dépasse la limite de shell comand taille. Mieux l'utiliser à l'aide du:

    find <some_directories> <filters> -print0 | du <options> --files0-from=- --total -s|tail -1

    trouver produit null terminé la liste des fichiers du prend à partir de stdin et de comtes.
    ceci est indépendant du shell de commande de limite de taille.
    Bien sûr, vous pouvez ajouter du certains commutateurs pour obtenir des logiques de taille de fichier, car, par défaut, du vous a dit comment la physique de l'espace de fichiers.

    Mais je pense qu'il n'est pas question pour les programmeurs, mais pour unix admins 🙂 alors pour stackoverflow c'est hors sujet.

    • C'est de loin la meilleure réponse. Pas besoin de awk, shell ou de variables.
    • Nous pouvons supprimer -print0 et --files0-from=- et de les remplacer par un appel à xargs, par exemple find . | xargs du.
    • avec xargs il appelle du commandement de nombreuses fois, alors il sera beaucoup plus lent, et plus utilise les ressources. sinon, il ne pourra pas empêcher les exécuter correctement, quand n'importe quel nom de fichier contient aucun caractère de nouvelle ligne. puis trouver avec xargs devrait avoir 'null de fin de l'option, pour xargs il sera --null ou à 0 (zéro numérique) de l'interrupteur.
    • Ou find <some_directories> <filters> -exec du -ch "{}" + | tail -1 | cut -f 1
    • avec exec option, il ne fonctionnera pas avec parallèles, alors ce sera plus lent. rappelez-vous sur -print0 et les autres, parce que vous avez plus récente de savoir ce que les caractères spéciaux sont dans des répertoires et noms de fichiers.
    InformationsquelleAutor Znik
  3. 2

    Ce code ajoute tous les octets à partir de l'fidèle ls pour tous les fichiers (il exclut tous les répertoires... apparemment, ils sont 8 ko par dossier/répertoire)

    cd /; find -type f -exec ls -s \; | awk '{sum+=$1;} END {print sum/1000;}'

    Remarque: Exécuter en tant que root. Résultat, en mégaoctets.

    InformationsquelleAutor Alex Konrad Keßler
  4. 0

    ls -l | tr -s ' ' | cut -d ' ' -f <field number> est quelque chose que j'utilise beaucoup.

    Le 5e champ est la taille. Mettre cette commande dans une boucle for et ajouter la taille d'un accumulateur et vous obtiendrez la taille totale de tous les fichiers dans un répertoire. Plus facile que l'apprentissage de AWK. En Plus de la substitution de commande, vous pouvez le grep de limiter ce que vous cherchez pour (^- pour les fichiers, et ainsi de suite).

    total=0

for size in $(ls -l | tr -s ' ' | cut -d ' ' -f 5) ; do
  total=$(( ${total} + ${size} ))
done

echo ${total}
    • réponse peut-être raison, mais pour les autres de comprendre s'il vous plaît ajouter un peu de texte pour décrire de façon agréable.
    InformationsquelleAutor Richard