Erreur de liste d'arguments trop longue pour les commandes rm, cp, mv

Question

J'ai plusieurs centaines de PDF sous un répertoire sous UNIX. Les noms des PDF sont très longs (environ 60 caractères).

Lorsque j'essaie de supprimer tous les PDF ensemble en utilisant la commande suivante :

rm -f *.pdf

Je reçois l'erreur suivante :

/bin/rm: cannot execute [Argument list too long]

Quelle est la solution à cette erreur ? Cette erreur se produit-elle pour mv et cp ainsi que des commandes ? Si oui, comment résoudre ces commandes ?

Answer 1

La raison pour laquelle cela se produit est que bash étend l'astérisque à chaque fichier correspondant, ce qui produit une ligne de commande très longue.

Essayez ça :

find . -name "*.pdf" -print0 | xargs -0 rm

Attention : il s'agit d'une recherche récursive qui trouvera (et supprimera) également les fichiers dans les sous-répertoires. Ajoutez -f à la commande rm seulement si vous êtes sûr de ne pas vouloir de confirmation.

Vous pouvez faire ce qui suit pour rendre la commande non récurrente :

find . -maxdepth 1 -name "*.pdf" -print0 | xargs -0 rm

Une autre option consiste à utiliser la fonction find -delete drapeau :

find . -name "*.pdf" -delete

Answer 2

Tl;dr

C'est une limitation du noyau sur la taille de l'argument de la ligne de commande. Utilisez un for à la place.

Origine du problème

Il s'agit d'un problème système, lié à execve et ARG_MAX constante. Il existe une documentation abondante à ce sujet (voir l'homme exécute , Le wiki de Debian ).

Fondamentalement, l'expansion produit un commande (avec ses paramètres) qui dépasse la ARG_MAX limite. Sur le noyau 2.6.23 la limite a été fixée à 128 kB . Cette constante a été augmentée et vous pouvez obtenir sa valeur en l'exécutant :

getconf ARG_MAX
# 2097152 # on 3.5.0-40-generic

Solution : Utiliser for Boucle

Utilisez un for comme il est recommandé sur BashFAQ/095 et il n'y a pas de limite, sauf pour la RAM/l'espace mémoire :

Faites un essai pour vous assurer qu'il supprimera ce que vous attendez :

for f in *.pdf; do echo rm "$f"; done

Et l'exécuter :

for f in *.pdf; do rm "$f"; done

Il s'agit également d'une approche portable car les glob ont un comportement fort et cohérent parmi les shells ( fait partie de la spécification POSIX ).

Note : Comme l'ont noté plusieurs commentaires, cette méthode est effectivement plus lente mais plus facile à maintenir car elle permet d'adapter des scénarios plus complexes, par exemple où l'on veut faire plus qu'une seule action.

Solution : Utiliser find

Si vous insistez, vous pouvez utiliser find mais vraiment n'utilisez pas xargs comme il "est dangereux (cassé, exploitable, etc.) lors de la lecture d'une entrée non délimitée par NUL". :

find . -maxdepth 1 -name '*.pdf' -delete 

Utilisation de -maxdepth 1 ... -delete au lieu de -exec rm {} + permet à find pour simplement exécuter lui-même les appels système requis sans utiliser de processus externe, donc plus rapidement (grâce à la fonction Commentaire de @chepner ).

Références

• Je reçois le message "Argument list too long". Comment puis-je traiter une grande liste par morceaux ? @ wooledge
• execve(2) - Page de manuel Linux (recherche de ARG_MAX) ;
• Erreur : Liste d'arguments trop longue @ Debian's wiki ;
• Pourquoi est-ce que j'obtiens "/bin/sh : Argument list too long" lorsque je passe des arguments entre guillemets ? @ SuperUser

Answer 3

find a un -delete action :

find . -maxdepth 1 -name '*.pdf' -delete

Answer 4

Ou vous pouvez essayer :

find . -name '*.pdf' -exec rm -f {} \;

Answer 5

Vous pouvez essayer ceci :

for f in *.pdf
do
  rm "$f"
done

EDIT : Le commentaire de ThiefMaster me suggère de ne pas divulguer une pratique aussi dangereuse aux jeunes jedis du shell, donc je vais ajouter une version plus "sûre" (pour préserver les choses quand quelqu'un a un fichier "-rf . . .pdf")

echo "# Whooooo" > /tmp/dummy.sh
for f in '*.pdf'
do
   echo "rm -i \"$f\""
done >> /tmp/dummy.sh

Après avoir exécuté le programme ci-dessus, il suffit d'ouvrir le /tmp/dummy.sh dans votre éditeur préféré et vérifiez chaque ligne pour les noms de fichiers dangereux, en les commentant s'ils sont trouvés.

Ensuite, copiez le dummy.sh script dans votre répertoire de travail et exécutez-le.

Tout cela pour des raisons de sécurité.