Je suis un nouveau venu dans Airflow et j'ai du mal avec BashOperator. Je veux accéder à un shell script en utilisant bash operator dans mon dag.py.
J'ai vérifié : Comment exécuter le fichier bash script dans Airflow y BashOperator n'exécute pas le fichier bash d'apache airflow
sur comment accéder au shell script à travers l'opérateur bash.
C'est ce que j'ai fait :
cmd = "./myfirstdag/dag/lib/script.sh "
t_1 = BashOperator(
task_id='start',
bash_command=cmd
)
En exécutant ma recette et en vérifiant le débit d'air, j'ai obtenu l'erreur suivante :
[2018-11-01 10:44:05,078] {bash_operator.py:77} INFO - /tmp/airflowtmp7VmPci/startUDmFWW: line 1: ./myfirstdag/dag/lib/script.sh: No such file or directory
[2018-11-01 10:44:05,082] {bash_operator.py:80} INFO - Command exited with return code 127
[2018-11-01 10:44:05,083] {models.py:1361} ERROR - Bash command failed
Je ne sais pas pourquoi cela se produit. Toute aide serait appréciée.
Merci !
NOTE D'ÉDITION : Je suppose qu'il cherche dans un emplacement tmp d'airflow plutôt que dans le chemin que j'ai fourni. Mais comment faire pour qu'il recherche le bon chemin.