Spark + Zeppelin + MongoDB + Kafka

Zepplin에서 Spark에 있는 실행파일에 접근할 수 있어야 한다.

• Docker Compose에서 spark-master와 spark-worker를 설정 해 놨음

• Zeeplin이 /opt/bitnami/spark 폴더에 접근 가능해야 함

• volumes를 설정해서 저 폴더를 Zeppelin에서 접근하게 했음.

• Zeppelin에서 계속 에러가 난다

  • /opt/zeppelin/interpreter/spark/._spark-interpreter-0.11.1.jar
  • /opt/zeppelin/interpreter/spark/scala-2.12/._spark-scala-2.12-0.11.1.jar
  • 위에 저 두 개 파일이 문제. 저걸 지워버렸더니 해결됐음.

• Zeppelin에서 Python패키지 설치

  docker exec -it zeppelin /bin/bash
  pip install kafka-python