Exécution de zeppelin sur le mode cluster de spark

Question

J'utilise ce tutoriel cluster spark en mode yarn dans un conteneur docker pour lancer zeppelin dans un cluster spark en mode yarn. Cependant, je suis bloqué à l'étape 4. Je ne trouve pas le fichier conf/zeppelin-env.sh dans mon conteneur docker pour y placer la configuration supplémentaire. J'ai essayé de mettre le dossier conf de zeppelin mais je n'ai pas encore réussi. En dehors de cela, le notebook zeppelin ne fonctionne pas non plus sur localhost:9001.

Je suis très novice en matière de système distribué, ce serait formidable si quelqu'un pouvait m'aider à démarrer zeppelin sur un cluster spark en mode yarn.

Voici mon fichier docker-compose pour activer la communication de zeppelin avec le cluster spark.

version: '2'
services:
sparkmaster:
  build: .
  container_name: sparkmaster
ports:
  - "8080:8080"
  - "7077:7077" 
  - "8888:8888"
  - "8081:8081"
  - "8082:8082"
  - "5050:5050"
  - "5051:5051"
  - "4040:4040"
zeppelin:
  image: dylanmei/zeppelin
  container_name: zeppelin-notebook
env_file:
  - ./hadoop.env
environment:
  ZEPPELIN_PORT: 9001
  CORE_CONF_fs_defaultFS: "hdfs://namenode:8020"
  HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020"
  SPARK_MASTER: "spark://spark-master:7077"
  MASTER: "yarn-client"
  SPARK_HOME: spark-master
  ZEPPELIN_JAVA_OPTS: >-
    -Dspark.driver.memory=1g
    -Dspark.executor.memory=2g
ports:
  - 9001:9001
volumes:
  - ./data:/usr/zeppelin/data
  - ./notebooks:/usr/zeppelin/notebook

Answer 1

C'est le fichier docker que vous avez utilisé pour lancer le cluster spark autonome.

• https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_standalone/Dockerfile

Mais il n'y a pas d'instance de Zeppelin dans le conteneur, vous devez donc utiliser Zeppelin sur votre machine locale.

S'il vous plaît télécharger et l'utiliser.