Trouver des lignes uniques

uniq a l'option dont vous avez besoin:

   -u, --unique
          only print unique lines

$ cat file.txt
1
1
2
3
5
5
7
7
$ uniq -u file.txt
2
3

uniq -u a été me rend fou parce qu'il n'a pas de travail.

Donc au lieu de cela, si vous avez python (la plupart des distributions Linux et des serveurs déjà):

En supposant que vous avez le fichier de données dans notUnique.txt

#Python
#Assuming file has data on different lines
#Otherwise fix split() accordingly.

uniqueData = []
fileData = open('notUnique.txt').read().split('\n')

for i in fileData:
  if i.strip()!='':
    uniqueData.append(i)

print uniqueData

###Another option (less keystrokes):
set(open('notUnique.txt').read().split('\n'))

Noter qu'en raison des lignes vides, le dernier jeu peut contenir " ou seulement l'espace des chaînes de caractères. Vous pouvez le retirer plus tard. Ou tout simplement sortir avec copie à partir de la borne 😉

#

Juste pour info, à Partir de l'uniq Homme page:

"Note:" uniq " ne pas détecter plusieurs lignes, sauf s'ils sont adjacents. Vous pouvez trier les entrées d'abord, ou l'utilisation de tri -u' sans 'uniq'. Aussi, les comparaisons honneur les règles spécifiées par "LC_COLLATE'."

L'une des façons correctes, d'invoquer avec:
#
tri nonUnique.txt | uniq

Exemple de fonctionnement:

$ cat x
3
1
2
2
2
3
1
3

$ uniq x
3
1
2
3
1
3

$ uniq -u x
3
1
3
1
3

$ sort x | uniq
1
2
3

L'espace peuvent être imprimés, alors soyez prêt!

uniq devrait faire l'affaire si vous êtes fichier est/peut être triée, si vous ne pouvez pas trier le fichier pour une raison quelconque, vous pouvez utiliser awk:

awk '{a[$0]++}END{for(i in a)if(a[i]<2)print i}'

sort -d "file name" | uniq -u

cela a fonctionné pour moi pour un semblable. Utilisez cette option si elle n'est pas organisée.
Vous pouvez supprimer le tri si elle est organisée

vous pouvez utiliser:

sort data.txt| uniq -u

ce genre de données et filtrer par valeurs uniques