Problème lors de l'ouverture du shell Spark

Question

J'essaie d'ouvrir spark en utilisant la commande

$ spark-shell

mais reçoit un avertissement. Comment résoudre le problème.

Avertissement :

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

Answer 1

Le port Spark peut être modifié à tout moment dans l'invite de commande.

[hadoop@localhost ~]$ spark-shell --conf spark.ui.port=4041

par défaut, l'étincelle se heurte aux 4040

Answer 2

Par défaut, Spark essaiera de lier le port 4040. Dans votre cas, il y a déjà un processus spark qui tourne sur 4040.

Le message suivant n'est pas une erreur car spark fonctionnera sur le port 4041 :

WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

En Documentation Spark :

Chaque SparkContext lance une page web affiche des informations utiles sur l'application. Ces informations sont les suivantes

Si plusieurs SparkContexts sont exécutés sur le même hôte, ils se lieront à des ports successifs. successifs commençant par 4040 (4041, 4042, etc).

Answer 3

La réponse précédente m'a également aidé à lancer une feuille d'étincelles. En faisant des recherches plus approfondies, j'ai trouvé qu'il y a 16 tentatives données par spark pour allouer automatiquement un port. Se référer à la documentation Spark

Une bonne chose est que spark propose également de configurer un nouveau port inutilisé et de démarrer le shell spark sur ce port.

java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries (starting from 4040)! Consider explicitly setting the appropriate port for the service 'SparkUI' (**for example spark.ui.port for SparkUI**) to an available port or increasing spark.port.maxRetries.