Comment diviser un fichier et de le garder à la première ligne de chacune des pièces?

C'est robhruska de script nettoyé un peu:

tail -n +2 file.txt | split -l 4 - split_
for file in split_*
do
    head -n 1 file.txt > tmp_file
    cat "$file" >> tmp_file
    mv -f tmp_file "$file"
done

J'ai enlevé wc, cut, ls et echo dans les lieux où ils sont inutiles. J'ai changé certains des noms de fichiers pour les rendre un peu plus utile. Je l'ai cassé sur plusieurs lignes seulement pour la rendre plus facile à lire.

Si vous voulez obtenir la fantaisie, vous pouvez utiliser mktemp ou tempfile pour créer un nom de fichier temporaire au lieu d'utiliser une codés en dur un.

Modifier

De l'utilisation de GNU split il est possible de le faire:

split_filter () { { head -n 1 file.txt; cat; } > "$FILE"; }; export -f split_filter; tail -n +2 file.txt | split --lines=4 --filter=split_filter - split_

Éclaté pour des raisons de lisibilité:

split_filter () { { head -n 1 file.txt; cat; } > "$FILE"; }
export -f split_filter
tail -n +2 file.txt | split --lines=4 --filter=split_filter - split_

Quand --filter est spécifié, split exécute la commande (une fonction dans ce cas, qui doit être exporté) pour chaque fichier de sortie et définit la variable FILE, dans la commande de l'environnement, du nom de fichier.

Un filtre de script ou de la fonction pourrait faire toute manipulation, il voulait la sortie de contenu ou même le nom de fichier. Un exemple de ce dernier pourrait être pour la sortie d'un fixe nom de fichier dans une variable répertoire: > "$FILE/data.dat" par exemple.

Vous pouvez utiliser [mg]awk:

awk 'NR==1{
        header=$0; 
        count=1; 
        print header > "x_" count; 
        next 
     } 

     !( (NR-1) % 100){
        count++; 
        print header > "x_" count;
     } 
     {
        print $0 > "x_" count
     }' file

100 est le nombre de lignes de chaque tranche.
Il ne nécessite pas de fichiers temporaires et peut être mis sur une seule ligne.

Cela permettra de diviser le grand csv en morceaux de 999 lignes, avec l'en-tête en haut de chaque

cat bigFile.csv | parallel --header : --pipe -N999 'cat >file_{#}.csv'

Basés sur Ole Tange de réponse.
(re Ole réponse: Vous ne pouvez pas utiliser la ligne de comptage avec pipepart)

Je ne suis jamais sûr de les règles de la copie des scripts directement à partir de sites d'autres personnes, mais Geekology a une belle script pour faire ce que vous voulez, avec quelques commentaires de confirmer qu'elle fonctionne. Assurez-vous de ne tail -n +2 comme indiqué dans un commentaire à proximité du fond.

J'ai vraiment aimé Rob et Dennis versions, tellement que je voulais améliorer.

Voici ma version:

in_file=$1
awk '{if (NR!=1) {print}}' $in_file | split -d -a 5 -l 100000 - $in_file"_" # Get all lines except the first, split into 100,000 line chunks
for file in $in_file"_"*
do
    tmp_file=$(mktemp $in_file.XXXXXX) # Create a safer temp file
    head -n 1 $in_file | cat - $file > $tmp_file # Get header from main file, cat that header with split file contents to temp file
    mv -f $tmp_file $file # Overwrite non-header containing file with header-containing file
done

Différences:

1. in_file est le fichier argument que vous souhaitez diviser le maintien des en-têtes de
2. Utilisation awk au lieu de tail en raison de awk avoir de meilleures performances
3. divisé en 100 000 ligne des fichiers au lieu de 4
4. Split nom de fichier nom de fichier d'entrée ajoutée avec un trait de soulignement et des nombres (jusqu'à 99999 - à partir de l'option "-d-5" split argument)
5. Utilisation mktemp pour gérer en toute sécurité les fichiers temporaires
6. Usage unique head | cat ligne au lieu de deux lignes

Ci-dessous est un 4 de revêtement qui peut être utilisé pour préserver les csv en-tête (à l'aide de : la tête, le split, find, grep, xargs, et sed)

 
csvheader= " head -1 bigfile.csv` 
split -d-l10000 bigfile.csv smallfile_ 
trouver .|grep smallfile_ | xargs-sed-i "1s/^/$csvheader\n/" 
sed -i '1d' smallfile_00 

Explication:

• Capturer l'en-tête à une variable nommée csvheader
• Diviser le bigfile dans un certain nombre de petits fichiers (avec le préfixe smallfile_)
• Trouver tous smallfiles et insérez le csvheader dans la PREMIÈRE ligne à l'aide de xargs et sed-i. Notez que vous devez utiliser sed dans des "guillemets" dans le but d'utiliser des variables.
• Le premier fichier nommé smallfile_00 maintenant une redondance dans les en-têtes sur les lignes 1 et 2 (à partir de l'origine des données ainsi que de la sed insérer en-tête à l'étape 3). On peut enlever le redondante-tête avec sed -i '1d' de la commande.