Quel est le moyen le plus rapide pour chatter plusieurs fichiers? [en attente]

Je me demandais si il existe un moyen de concaténer les fichiers texte unix plus vite
que de courir cat?

Voici le problème que je me pose. Je suis de la chaîne de traitement d'un fichier texte ~100G de
taille. Je suis en train d'améliorer l'exécution par diviser le fichier en plusieurs centaines
des fichiers plus petits et de les traiter en parallèle. Au final, j'ai le chat qui en résulte
les fichiers de retour ensemble dans l'ordre. Le fichier en lecture/écriture le temps lui-même prend des heures. J'
aimerai trouver un moyen d'améliorer le suivant:

cat file1 file2 file3 ... fileN >> newBigFile
  1. Cela nécessite le double de l'espace comme file1 ... fileN prend 100G, et
    puis newBigFile prend une autre de 100 go, et puis file1... fileN obtient
    retiré
  2. Les données sont déjà dans file1 ... fileNde faire le cat >> engage lire
    et écrire le temps où tout ce que je vraiment besoin, c'est des centaines de fichiers à
    réapparaître comme 1 fichier...

source d'informationauteur Wing