Trouver des lignes uniques

Question

Comment trouver les lignes uniques et supprimer tous les doublons d'un fichier ? Mon fichier d'entrée est

1
1
2
3
5
5
7
7

Je voudrais que le résultat soit :

2
3

sort file | uniq ne fera pas l'affaire. Afficher toutes les valeurs une seule fois

Answer 1

uniq a l'option dont vous avez besoin :

   -u, --unique
          only print unique lines

$ cat file.txt
1
1
2
3
5
5
7
7
$ uniq -u file.txt
2
3

Answer 2

Utilisez comme suit :

sort < filea | uniq > fileb

Answer 3

Vous pouvez également imprimer la valeur unique de "file" à l'aide de la fonction cat en passant par la commande sort et uniq

cat file | sort | uniq -u

Answer 4

Alors que sort prend O(n log(n)) temps, je préfère utiliser

awk '!seen[$0]++'

---

awk '!seen[$0]++' est l'abréviation de awk '!seen[$0]++ {print}' , print line(=$0) if seen[$0] est différent de zéro. Il prend plus de place mais seulement O(n) temps.

Answer 5

Que vous pouvez utiliser :

sort data.txt| uniq -u

ceci permet de trier les données et de filtrer par valeurs uniques