Surveillance de l'utilisation de la mémoire des tâches Spark

Question

Comment obtenir la mémoire globale utilisée pour un job spark. Je ne suis pas en mesure d'obtenir le paramètre exact auquel nous pouvons nous référer pour récupérer la même chose. J'ai consulté l'interface utilisateur de Spark, mais je ne suis pas sûr du champ auquel nous pouvons nous référer. En outre, dans Ganglia, nous avons les options suivantes : a) Mémoire tampon b) Mémoire cache c) Mémoire libre d) Mémoire partagée e) Espace d'échange libre

Impossible d'obtenir une option relative à la mémoire utilisée. Quelqu'un a-t-il une idée à ce sujet ?

Answer 1

Si vous faites persister vos RDDs, vous pouvez voir leur taille en mémoire via l'interface utilisateur.

Il est difficile de se faire une idée de la quantité de mémoire utilisée pour les tâches intermédiaires (par exemple, pour les mélanges). Fondamentalement, Spark utilisera autant de mémoire que nécessaire, compte tenu de ce qui est disponible. Cela signifie que si vos RDD occupent plus de 50 % de vos ressources disponibles, votre application risque de ralentir car il y a moins de ressources disponibles pour l'exécution.