Diviser des fichiers en utilisant tar, gz, zip, bzip2

J'ai besoin de compresser un gros fichier d'environ 17 à 20 GO. J'ai besoin de le diviser en plusieurs fichiers d'environ 1 GO par fichier.

J'ai cherché une solution sur Google et trouvé des façons à l'aide de split et cat commandes. Mais ils n'ont pas de travail pour les gros fichiers. Aussi, ils ne fonctionnent pas dans Windows, j'ai besoin de l'extraire sur une machine Windows.

  • Je ressens votre douleur, mais cela ne semble pas être de programmation relative.
  • De nombreux programmes de compression (par exemple, comme 7-Zip) est en mesure de diviser le fichier compressé dans des volumes d'une taille donnée, pour en faciliter la distribution.
  • Cela appartient à superuser.com mais la beta privée ne démarre pas jusqu'à demain, me dit-on.
  • Puis-je vous demander pourquoi vous avez besoin de ce fichier compressé?
  • Si l'une des deux solutions viables posté ici n'est pas dehors, il va être besoin d'une solution de programmation.
  • La approuvée réponse à cette question, montre comment vous pouvez le faire à l'aide de Python et le sous-processus module: stackoverflow.com/questions/4368818/... (Python est un langage de script disponible pour Windows, donc il ya une chance que cela fonctionne...)

InformationsquelleAutor Aka | 2009-07-13
  1. 242

    Vous pouvez utiliser le split de commande avec le -b option:

    split -b 1024m file.tar.gz

    Il peut être remonté sur un ordinateur Windows à l'aide de @Joshua's réponse.

    copy /b file1 + file2 + file3 + file4 filetogether

    Modifier: Comme @Charlie indiqué dans le commentaire ci-dessous, vous pouvez définir un préfixe explicitement, car il va utiliser x non, qui peuvent être source de confusion.

    split -b 1024m "file.tar.gz" "file.tar.gz.part-"

// Creates files: file.tar.gz.part-aa, file.tar.gz.part-ab, file.tar.gz.part-ac, ...

    Modifier: la Modification de la poste, car la question est fermée et la solution la plus efficace est très proche du contenu de cette réponse:

    # create archives
$ tar cz my_large_file_1 my_large_file_2 | split -b 1024MiB - myfiles_split.tgz_
# uncompress
$ cat myfiles_split.tgz_* | tar xz

    Cette solution permet d'éviter l'utilisation d'un intermédiaire de fichiers volumineux lors de la (dé)compression. Utiliser le tar -C option pour utiliser un autre répertoire pour les fichiers résultants. btw, si l'archive est constituée à partir d'un seul fichier, le goudron pourrait être évité et seulement gzip utilisé:

    # create archives
$ gzip -c my_large_file | split -b 1024MiB - myfile_split.gz_
# uncompress
$ cat myfile_split.gz_* | gunzip -c > my_large_file

    Pour windows, vous pouvez télécharger porté versions de la même commandes ou de l'utilisation de cygwin.

    • si vous n'avez pas d'ajouter un préfixe comme le dernier argument après le nom du fichier à split, vous obtenez un résultat dans des fichiers nommés xaa, xab, xac, xad....
    • merci, j'ai mis à jour ma réponse.
    • En fait l'utilisation de -b 1024MiB a donné une erreur que c'était un invalide nombre d'octets. À l'aide de --bytes=1024m œuvres.
    • Et vous n'avez pas à utiliser cat pour réassembler le fichier. Vous pouvez utiliser copy /b file1 + file2 + etc.. sur Windows, puis copier sur Linux et de goudron peut lire la remonté archive. Je l'ai juste essayé.
    • Split est l'option --numeric-suffixes: l'utilisation numérique des suffixes au lieu de alphabétiques.
    • Si vous préférez le préfixe composé de l'original pour éviter de préfixe de nom de deviner à l'aide de variables bash, utilisation: file=myfile.tar.gz suivie par split -b 1024m $file ${file}-part-. Ré-assemblage à l'aide de cat ${file}-part-* > $file
    • C'est une bonne idée d'utiliser --verbose option lorsque le partage de gros fichiers.

    InformationsquelleAutor matpie
  2. 25

    Si vous êtes le fractionnement à partir de Linux, vous pouvez toujours remonter dans Windows.

    copy /b file1 + file2 + file3 + file4 filetogether
    • Vous pouvez également utiliser copy /b file* filetogether -- support.microsoft.com/kb/71161
    • Qui fonctionne correctement que sur NTFS et si les fichiers sont en NTFS ordre de tri déjà. Essayez-la sur FAT ou FAT32 = boom.
    • +1 assurez-vous que les fichiers sont dans le bon ordre!
    • Pour être juste, s'ils ne l'êtes pas, vous avez fait un mauvais travail de nommage.
    • Vous savez a propos de la FAT32 est mauvais répertoire de la réorganisation des habitudes de droite?
    InformationsquelleAutor Joshua
  3. 9

    utilisation de goudron pour divisé en plusieurs archives

    il y a beaucoup de programmes qui fonctionnent avec du goudron de fichiers sur windows, y compris cygwin.

    InformationsquelleAutor Tim Hoolihan
  4. 7

    Testé le code, initialement crée un seul fichier d'archive, puis elle la divise:

     gzip -c file.orig > file.gz
 CHUNKSIZE=1073741824
 PARTCNT=$[$(stat -c%s file.gz) / $CHUNKSIZE]

 # the remainder is taken care of, for example for
 # 1 GiB + 1 bytes PARTCNT is 1 and seq 0 $PARTCNT covers
 # all of file
 for n in `seq 0 $PARTCNT`
 do
       dd if=file.gz of=part.$n bs=$CHUNKSIZE skip=$n count=1
 done

    Cette variante omet la création d'un seul fichier d'archive et va directement à la création de pièces:

    gzip -c file.orig |
    ( CHUNKSIZE=1073741824;
        i=0;
        while true; do
            i=$[i+1];
            head -c "$CHUNKSIZE" > "part.$i";
            [ "$CHUNKSIZE" -eq $(stat -c%s "part.$i") ] || break;
        done; )

    Dans cette variante, si les archives de la taille du fichier est divisible par $CHUNKSIZE, la dernière partielle fichier la taille du fichier de 0 octets.

    • C'est ce que split le fait déjà.
    • OP dit de split n'a pas fonctionné.
    • ephemient Hey, j'ai creuser un peu le post juste POUR ça. Je n'ai pas de split, ni zip commandes/binaires sur un périphérique de stockage, et cela a fonctionné parfaitement. Je vais préparer le présent code de travail partagé commande :). Merci beaucoup @Adrian Panasiuk. C'est parfait pour moi.
    • Tu es la bienvenue, content que ça aide!
    • Mais, je l'ai testé et le résultat est un fichier complet, pas une fissure. Comment peut-il être? A été un gros fichier sur un petit appareil, de sorte a été un long processus. S'il vous plaît tester vos solutions si le détachement 🙁
    • Vous ne nous a jamais dit que vous devez éviter de créer un fichier temporaire! Veuillez voir le deuxième variante!
    • Je me suis trompé sur le 1º de script, fonctionne parfaitement, a été mon erreur sur le CHUNKSIZE variable. Il n'y a PAS de raison de créer un gzip fichier intermédiaire. Vous pouvez exécuter dans une seule commande avec un tuyau. Les deux exemples œuvres, on le fait avec les dd et l'autre utilise la tête wrapper de données. Mon principal problème était le manque de split/zip les fichiers binaires et ces deux solutions sont ce que j'ai demander si vous allez à l'intérieur de ça. Merci encore une fois.
    • J'ai résolu mon problème, hier, à l'aide de 7zip avec -v200m option. Mais plus tard, je reviens et tester le vôtre aussi, et de voir mon erreur 😀
    • merci, la commande diviser était résultant dans un fichier complet avec pas de split pour moi aussi, alors que votre script travaillé. Remarque: si sur un MacOS puis remplacer "stat -c%s" avec "stat -f%z"

    InformationsquelleAutor Adrian Panasiuk