Comment puis-je surveiller/générer un rapport agrégé de l'utilisation du CPU/RAM à partir du code de l'application spark ?

Question

Je sais que ganglia peut être utilisé pour surveiller l'utilisation des ressources dans un cluster comme Spark. Mais il fournira un rapport global pour mon application.

Mais si je veux savoir combien de ressources sont utilisées par une partie spécifique de mon code, y a-t-il un moyen ?

A
My code
B

Par exemple, je veux connaître l'utilisation du CPU/RAM de A à B. Je peux calculer le temps d'exécution dans le code, c'est-à-dire l'application java pour spark, mais je ne sais pas comment je peux connaître spécifiquement l'utilisation des ressources pour cette portion. J'ai l'idée que si je peux générer un rapport (comme l'api pour le rapport ganglia) à B, cela peut me montrer les ressources utilisées jusqu'à B. Bien que cela n'exclura rien avant A, cela fonctionnera pour moi pour l'instant si une telle solution existe.

Je vous remercie d'avance.

Answer 1

Apparemment un nouveau projet sparkoscope semble fonctionner sur ce point, c'est-à-dire la surveillance au niveau du code source. Cependant, leur projet n'est pas bien documenté, et j'ai donc du mal à mettre leur projet en position de travail. Néanmoins, c'est un début. J'espère que cela aidera quelqu'un comme moi.