Configurer la taille du tas de Java avec Spark

Question

Quand je configure Yarn, il y a une JAVA_HEAP_MAX variable d'environnement pour l'allocation de la mémoire. Lorsque j'instancie un worker Spark, est-ce que la variable d'environnement spark.executor.memory écraser cette valeur ? Y a-t-il une raison pour laquelle je devrais définir manuellement le tas Java via un -Xmx ou les confs Spark s'en occupent-ils ?

Essentiellement, dois-je définir une allocation initiale de la mémoire du tas de java qui est plus grande que la mémoire que je vais allouer à une étincelle ou est-ce qu'elle gère cela par défaut - et quels sont les cas d'utilisation de la modification de la JVM par des variables environnementales en dehors de Spark ?

Answer 1

Je n'ai jamais fait -Xmx en soumettant le travail. J'utilise toujours spark.executor.memory et driver.memory. Je pense que cela va écraser. Quelques configurations supplémentaires/réglages de spark en utilisant https://spark.apache.org/docs/latest/configuration.html#compression-and-serialization

comme

fraction.de.mémoire.d'étincelle