Oozie Error : E1310 : E1310 : Erreur de soumission d'un travail groupé : [null]

Question

J'ai créé un ensemble d'oozie composé de plusieurs coordinateurs et de leurs flux de travail respectifs. L'ensemble fonctionnait bien auparavant, mais avec l'ajout d'un nouveau flux de travail, il a cessé de fonctionner complètement.

Pour des raisons de simplification et de débogage, j'ai réduit l'ensemble au strict minimum, c'est-à-dire à un coordinateur qui démarre un flux de travail.

Les XML semblent être valides (validés avec oozie) et le coordinateur et le flux de travail fonctionnent bien par eux-mêmes (avec des propriétés adaptées).

Le problème est que je n'obtiens pas d'erreurs significatives sur -dryrun ou run. Dryrun produit l'erreur : Error: E1310 : E1310: Bundle Job submission Error: [null] ce qui ne me mène nulle part.

Le simple fait d'exécuter la tâche fait que le paquet est soumis et marqué comme "FAILED" sans qu'aucun coordinateur ne soit lancé. Par conséquent, je n'obtiens aucun rapport d'erreur sur le coordinateur sur lequel travailler.

Answer 1

Après avoir joué avec le coordinateur et le flux de travail et la propagation des variables du fichier bundle.properties vers le coordinateur et le flux de travail, j'ai trouvé quelques éléments importants à prendre en compte qui ont finalement résolu mon problème :

1. -dryrun sur un paquet ne fonctionne pas comme prévu il semble. L'erreur ci-dessus persiste même après avoir réparé le bundle pour qu'il fonctionne correctement dans oozie. Je n'ai pas pu trouver quelque chose indiquant que dryrun n'est pas supporté sur les bundles, mais la commande [null] indique que dryrun ne peut pas gérer les paquets.
2. Les chemins HDFS doivent être ajoutés avec les numéros de port pour fonctionner correctement. J'avais plusieurs chemins au format hdfs://nodename/hdfs/dir/.... qui ne semble pas être propagé correctement sans le chemin d'accès correct au format de hdfs://nodename:8020/hdfs/dir/... . Après avoir ajouté le numéro de port, ils ont fonctionné correctement.
3. J'ai oublié quelques variables dans le bundle.xml qui étaient utilisées dans le coordinator.xml. Cela n'a pas été signalé par oozie, mais le coordinateur n'a pas été lancé du tout. Le bundle sera juste listé avec -info sans aucun coordinateur programmé avec le statut "running". C'est assez difficile à déboguer à cause du manque de retour d'information de la part d'oozie. Assurez-vous de tester votre coordinateur avec un fichier de propriétés et utilisez ce fichier de propriétés "fonctionnel" comme schéma pour vérifier les bundle.properties et .xml pour toute variable manquante.