Comment supprimer les lignes dupliquées dans un fichier sans le trier sous Unix ?

Question

Existe-t-il un moyen de supprimer les lignes dupliquées dans un fichier sous Unix ?

Je peux le faire avec sort -u y uniq mais je veux utiliser les commandes sed o awk .

Est-ce possible ?

Answer 1

awk '!seen[$0]++' file.txt

seen est un tableau associatif dans lequel AWK passera chaque ligne du fichier. Si une ligne n'est pas dans le tableau, alors seen[$0] sera évaluée à false. Les ! est l'opérateur logique NOT et inversera le faux en vrai. AWK imprime les lignes où l'expression est évaluée à true.

En ++ incréments seen de sorte que seen[$0] == 1 après la première fois qu'une ligne est trouvée et ensuite seen[$0] == 2 et ainsi de suite. AWK évalue tout sauf 0 y "" (chaîne vide) à true. Si une ligne en double est placée dans seen puis !seen[$0] sera évaluée à false et la ligne ne sera pas écrite à la sortie.

Answer 2

De http://sed.sourceforge.net/sed1line.txt : (Ne me demandez pas comment cela fonctionne ;-) )

 # delete duplicate, consecutive lines from a file (emulates "uniq").
 # First line in a set of duplicate lines is kept, rest are deleted.
 sed '$!N; /^\(.*\)\n\1$/!P; D'

 # delete duplicate, nonconsecutive lines from a file. Beware not to
 # overflow the buffer size of the hold space, or else use GNU sed.
 sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

Answer 3

La phrase qui Andre Miller a posté fonctionne sauf pour les versions récentes de sed lorsque le fichier d'entrée se termine par une ligne blanche et aucun caractère. Sur mon Mac, mon processeur ne fait que tourner.

Il s'agit d'une boucle infinie si la dernière ligne est vide et ne contient aucun caractère :

sed '$!N; /^\(.*\)\n\1$/!P; D'

Il n'est pas suspendu, mais vous perdez la dernière ligne :

sed '$d;N; /^\(.*\)\n\1$/!P; D'

L'explication se trouve à la toute fin de la sed FAQ :

Le responsable de GNU sed a estimé qu'en dépit des problèmes de portabilité
Cela entraînerait la modification de la commande N pour l'impression (au lieu de l'impression).
supprimer) l'espace-modèle était plus cohérent avec les intuitions de l'utilisateur
sur la façon dont une commande pour "ajouter la ligne suivante" ought de se comporter.
Un autre argument en faveur du changement est que "{N;command;}" sera
supprime la dernière ligne si le fichier a un nombre impair de lignes, mais
imprime la dernière ligne si le fichier a un nombre pair de lignes.

Pour convertir les scripts qui utilisaient l'ancien comportement de N (suppression de
l'espace du motif lorsqu'il atteint le FEO) à des scripts compatibles avec les
toutes les versions de sed, remplacer a lone "N ;" par "$d;N ;" .

Answer 4

Il existe un programme Gnome très pratique : FSlint

Answer 5

sed est un éditeur de flux et ne traite pas naturellement les fichiers d'entrée comme des lignes

C'est possible, mais je pense que d'autres techniques seront plus faciles à mettre en œuvre.

EDIT : la réponse d'Andre Miller montre que ce n'est pas le cas, erm, intuitif