Pyspark: Impossible de trouver SPARK_HOME valide

Question

Après une installation fraîche de pyspark via pip install pyspark, je reçois les erreurs suivantes :

> pyspark
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/usr/local/bin/pyspark: line 77: /bin/spark-submit: No such file or directory
/usr/local/bin/pyspark: line 77: exec: /bin/spark-submit: cannot execute: No such file or directory
> spark-shell
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

Qu'est-ce qu'un SPARK_HOME valide, comment le définir, et pourquoi n'y a-t-il pas de valeur par défaut qui fonctionne ?

J'ai vu des instructions sur la façon de définir manuellement la variable d'environnement après une installation manuelle de spark, mais je me demande comment la définir dans ce cas après avoir utilisé pip pour installer pyspark.

J'ai installé uniquement spark via brew install apache-spark, et le spark-shell qui en sort de cette installation fonctionne parfaitement dès le départ. Après avoir installé pyspark après cela, je reçois les messages ci-dessus. Confus.

Answer 1

> brew installer apache-spark

en fait, fournit déjà un shell pyspark fonctionnel. Il n'est pas nécessaire d'ajouter ensuite

> pip installer pyspark

et en fait cela casse l'installation pour moi.