Comment puis-je randomiser les lignes d'un fichier à l'aide d'outils standard sur Red Hat Linux ?

Question

Comment puis-je randomiser les lignes d'un fichier à l'aide d'outils standard sur Red Hat Linux ?

Je n'ai pas le shuf donc je cherche quelque chose comme une perl o awk qui accomplit la même tâche.

Answer 1

Um, n'oublions pas

sort --random-sort

Answer 2

shuf est le meilleur moyen.

sort -R est douloureusement lent. Je viens d'essayer de trier un fichier de 5 Go. J'ai abandonné après 2,5 heures. Puis shuf l'a réglé en une minute.

Answer 3

Et vous obtenez un one-liner en Perl !

perl -MList::Util -e 'print List::Util::shuffle <>'

Il utilise un module, mais ce module fait partie de la distribution du code Perl. Si cela ne suffit pas, vous pouvez envisager de développer votre propre module.

J'ai essayé de l'utiliser avec le -i ("edit-in-place") pour qu'il modifie le fichier. La documentation suggère que cela devrait fonctionner, mais ce n'est pas le cas. Il affiche toujours le fichier mélangé sur stdout, mais cette fois il supprime l'original. Je vous suggère de ne pas l'utiliser.

Considérons un shell script :

#!/bin/sh

if [[ $# -eq 0 ]]
then
  echo "Usage: $0 [file ...]"
  exit 1
fi

for i in "$@"
do
  perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new
  if [[ `wc -c $i` -eq `wc -c $i.new` ]]
  then
    mv $i.new $i
  else
    echo "Error for file $i!"
  fi
done

Non testé, mais espérons qu'il fonctionne.

Answer 4

cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-

Lire le fichier, faire précéder chaque ligne d'un numéro aléatoire, trier le fichier sur ces préfixes aléatoires, couper les préfixes ensuite. Une seule ligne qui devrait fonctionner dans n'importe quel shell semi-moderne.

EDIT : incorporé les remarques de Richard Hansen.

Answer 5

En rapport avec la réponse de Jim :

Mon ~/.bashrc contient les éléments suivants :

unsort ()
{
    LC_ALL=C sort -R "$@"
}

Avec le sort de GNU coreutils, -R = --random-sort qui génère un hachage aléatoire de chaque ligne et le trie. Le hachage aléatoire n'est pas utilisé dans certaines locales dans certaines versions plus anciennes (boguées), ce qui fait qu'il retourne une sortie triée normale, c'est pourquoi j'ai mis LC_ALL=C .

---

En rapport avec la réponse de Chris :

perl -MList::Util=shuffle -e'print shuffle<>'

est un texte un peu plus court. ( -Mmodule=a,b,c est un raccourci pour -e 'use module qw(a b c);' .)

La raison pour laquelle il s'agit d'une simple -i ne fonctionne pas pour le shuffling in-place parce que Perl s'attend à ce que le fichier print se produit dans la même boucle que la lecture du fichier, et print shuffle <> ne sort pas avant que tous les fichiers d'entrée aient été lus et fermés.

Comme solution de rechange plus courte,

perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'

mélangera les fichiers sur place. ( -n signifie "envelopper le code dans un while (<>) {...} boucle ; BEGIN{undef$/} fait en sorte que Perl opère sur des fichiers à la fois au lieu de lignes à la fois, et split/^/m est nécessaire car $_=<> a été implicitement fait avec un fichier entier au lieu des lignes).