combiner plusieurs fichiers texte et supprimer les doublons

Que j'ai autour de 350 fichiers texte (et chaque fichier est d'environ 75 MO). J'essaie de combiner tous les fichiers et supprimer des entrées en double. Le fichier est au format suivant:

ip1,dns1
ip2,dns2
...

J'ai écrit un petit script shell pour ce faire

#!/bin/bash
for file in data/*
do
    cat "$file" >> dnsFull
done
sort dnsFull > dnsSorted
uniq dnsSorted dnsOut
rm dnsFull dnsSorted

Je suis en train de faire ce traitement souvent et je me demandais si il n'y a rien que je puisse faire pour améliorer le traitement prochaine fois quand je le lance. Je suis ouvert à tout langage de programmation et des suggestions. Merci!

vous pouvez également donner tri -m a essayer --> il va trier les fichiers et de les fusionner en conséquence ils devraient donc économiser un peu de temps .... l'option-m est disponible pour l'esp n'scénario comme celui-ci ... c'est à dire de tri -m fichier* | uniq -u

OriginalL'auteur drk | 2013-06-01