Appeler des fonctions shell avec xargs

Question

J'essaie d'utiliser xargs pour appeler une fonction plus complexe en parallèle.

#!/bin/bash
echo_var(){
    echo $1
    return 0
}
seq -f "n%04g" 1 100 |xargs -n 1 -P 10 -i echo_var {} 
exit 0

Cela renvoie l'erreur

xargs: echo_var: No such file or directory

Toute idée sur la façon dont je peux utiliser xargs pour accomplir ceci, ou toute autre solution serait la bienvenue.

Answer 1

Exporter la fonction devrait le faire (non testé) :

export -f echo_var
seq -f "n%04g" 1 100 | xargs -n 1 -P 10 -I {} bash -c 'echo_var "$@"' _ {}

Vous pouvez utiliser la fonction intégrée printf au lieu de l'externe seq :

printf "n%04g\n" {1..100} | xargs -n 1 -P 10 -I {} bash -c 'echo_var "$@"' _ {}

De même, l'utilisation de return 0 y exit 0 comme cela masque toute valeur d'erreur qui pourrait être produite par la commande qui la précède. De plus, s'il n'y a pas d'erreur, c'est la valeur par défaut et donc quelque peu redondante.

@phobic mentionne que la commande Bash pourrait être simplifié en

bash -c 'echo_var "{}"'

en déplaçant le {} directement à l'intérieur. Mais es vulnérable à l'injection de commandes comme l'a souligné @Sasha.

Voici un exemple de pourquoi vous ne doit pas utiliser le format intégré :

$ echo '$(date)' | xargs -I {} bash -c 'echo_var "{}"'
Sun Aug 18 11:56:45 CDT 2019

Un autre exemple de pourquoi pas :

echo '\"; date\"' | xargs -I {} bash -c 'echo_var "{}"'

Voici ce qui est produit utiliser le format sûr :

$ echo '$(date)' | xargs -I {} bash -c 'echo_var "$@"' _ {}
$(date)

C'est comparable à l'utilisation de paramétré SQL demandes de renseignements pour éviter injection .

J'utilise date dans une substitution de commande ou entre guillemets ici au lieu de l'option rm utilisée dans le commentaire de Sasha car elle est non-destructive.

Answer 2

L'utilisation de GNU Parallel ressemble à ceci :

#!/bin/bash
echo_var(){
    echo $1
    return 0
}
export -f echo_var
seq -f "n%04g" 1 100 | parallel -P 10 echo_var {} 
exit 0

Si vous utilisez la version 20170822 vous n'avez même pas besoin de export -f tant que vous avez exécuté ceci :

. `which env_parallel.bash`
seq -f "n%04g" 1 100 | env_parallel -P 10 echo_var {}

Answer 3

Quelque chose comme ça devrait aussi fonctionner :

function testing() { sleep $1 ; }
echo {1..10} | xargs -n 1 | xargs -I@ -P4 bash -c "$(declare -f testing) ; testing @ ; echo @ "

Answer 4

Peut-être que c'est une mauvaise pratique, mais si vous définissez des fonctions dans une .bashrc ou autre script, vous pouvez envelopper le fichier ou au moins les définitions de fonction avec un paramètre de allexport :

set -o allexport

function funcy_town {
  echo 'this is a function'
}
function func_rock {
  echo 'this is a function, but different'
}
function cyber_func {
  echo 'this function does important things'
}
function the_man_from_funcle {
  echo 'not gonna lie'
}
function funcle_wiggly {
  echo 'at this point I\'m doing it for the funny names'
}
function extreme_function {
  echo 'goodbye'
}

set +o allexport

Answer 5

Il semble que je ne puisse pas faire de commentaires :-(

Je me demandais si l'accent était mis sur

bash -c 'echo_var "$@"' _ {}
vs
bash -c 'echo_var "{}"'

Le premier substitue les {} comme arg à bash et le second comme arg à la fonction. Le fait que l'exemple 1 ne développe pas le $(date) est simplement un effet secondaire.

Si vous ne voulez pas que les arguments de la fonction soient développés, utilisez des guillemets simples plutôt que doubles. Pour éviter une imbrication désordonnée, utilisez des guillemets doubles (développez les args sur l'autre guillemet).

$ echo '$(date)' | xargs -0 -L1 -I {} bash -c 'printit "{}"'
Fri 11 Sep 17:02:24 BST 2020

$ echo '$(date)' | xargs -0 -L1 -I {} bash -c "printit '{}'"
$(date)