Sélectionner des valeurs uniques ou distinctes dans une liste dans le shell UNIX script.

Question

J'ai un script ksh qui retourne une longue liste de valeurs, séparées par des nouvelles lignes, et je veux voir uniquement les valeurs uniques/distinctes. Est-il possible de faire cela ?

Par exemple, disons que mon résultat est constitué de suffixes de fichiers dans un répertoire :

tar
gz
java
gz
java
tar
class
class

Je veux voir une liste comme :

tar
gz
java
class

Answer 1

Vous pouvez consulter le uniq y sort applications.

./yourscript.ksh | sort | uniq

(Pour info, oui, le tri est nécessaire dans cette ligne de commande, uniq ne dépouille que les lignes dupliquées qui se suivent immédiatement)

EDITAR:

Contrairement à ce qui a été posté par Aaron Digulla en ce qui concerne uniq Les options de la ligne de commande de l'utilisateur :

Étant donné l'entrée suivante :

class
jar
jar
jar
bin
bin
java

uniq affichera toutes les lignes exactement une fois :

class
jar
bin
java

uniq -d sortira toutes les lignes qui apparaissent plus d'une fois, et il les imprimera une fois :

jar
bin

uniq -u sortira toutes les lignes qui apparaissent exactement une fois, et il les imprimera une fois :

class
java

Answer 2

./script.sh | sort -u

C'est la même chose que du monoxyde de carbone réponse mais un peu plus concis.

Answer 3

Avec zsh vous pouvez le faire :

% cat infile 
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class

Ou vous pouvez utiliser AWK :

% awk '!_[$0]++' infile    
tar
more than one word
gz
java
class

Answer 4

Pour les ensembles de données plus importants où le tri n'est pas forcément souhaitable, vous pouvez également utiliser le script perl suivant :

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'

Cela permet de mémoriser chaque ligne sortie afin de ne pas la sortir à nouveau.

Il a l'avantage sur le " sort | uniq Il s'agit d'une solution " à la carte " dans la mesure où aucun tri n'est nécessaire au départ.

Answer 5

Passez-les à travers sort y uniq . Cela supprime tous les doublons.

uniq -d ne donne que les doublons, uniq -u ne donne que les uniques (élimine les doublons).