Comment mélanger les lignes d'un fichier texte sur la ligne de commande Unix ou dans un script shell script ?

Question

Je veux mélanger les lignes d'un fichier texte de façon aléatoire et créer un nouveau fichier. Le fichier peut contenir plusieurs milliers de lignes.

Comment puis-je faire cela avec cat , awk , cut etc.

Answer 1

Vous pouvez utiliser shuf . Sur certains systèmes au moins (cela ne semble pas être dans POSIX).

Comme jleedev l'a souligné : sort -R pourrait également être une option. Sur certains systèmes du moins ; enfin, vous voyez le tableau. Il a été souligné que sort -R ne mélange pas vraiment les éléments mais les trie en fonction de leur valeur de hachage.

[Note de l'éditeur : sort -R casi mélange, sauf que dupliquer les lignes / clés de tri finissent toujours par à côté l'un de l'autre . En d'autres termes : seulement avec unique lignes d'entrée / touches, c'est un vrai shuffle. Même s'il est vrai que l'ordre de sortie est déterminé par valeurs de hachage le caractère aléatoire provient du choix d'un hash aléatoire. fonction - voir manuel .]

Answer 2

Un langage Perl unique serait une version simple de la solution de Maxim.

perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);' < myfile

Answer 3

J'utilise un minuscule script en perl, que j'appelle "unsort" :

#!/usr/bin/perl
use List::Util 'shuffle';
@list = <STDIN>;
print shuffle(@list);

J'ai aussi une version délimitée par NULL, appelée "unsort0" ... pratique à utiliser avec find -print0 et ainsi de suite.

PS : J'ai voté pour 'shuf' aussi, je n'avais aucune idée que cela existait dans coreutils ces jours-ci ... ce qui précède peut toujours être utile si votre système n'a pas 'shuf'.

Answer 4

Voici un premier essai, facile pour le codeur mais difficile pour le processeur, qui ajoute un nombre aléatoire à chaque ligne, les trie et retire ensuite le nombre aléatoire de chaque ligne. En fait, les lignes sont triées de façon aléatoire :

cat myfile | awk 'BEGIN{srand();}{print rand()"\t"$0}' | sort -k1 -n | cut -f2- > myfile.shuffled

Answer 5

Voici un script awk

awk 'BEGIN{srand() }
{ lines[++d]=$0 }
END{
    while (1){
    if (e==d) {break}
        RANDOM = int(1 + rand() * d)
        if ( RANDOM in lines  ){
            print lines[RANDOM]
            delete lines[RANDOM]
            ++e
        }
    }
}' file

sortie

$ cat file
1
2
3
4
5
6
7
8
9
10

$ ./shell.sh
7
5
10
9
6
8
2
1
3
4