為Spark叢集配置jupyter notebook的Spark kernel

在Jupyter的​​官方github的kernel list​​​裡有一個​​sparkmagic​​，安裝之後就可以直接在jupyter 中建立Spark、PySpark、PySpark3和SparkR這幾種kernel的notebook了。

下面介紹一下安裝過程。

安裝Livy

sparkmagic是基于Livy的，必須先在叢集的master上安裝好Livy。

• 從https://livy.incubator.apache.org/下載下傳livy
• 将下載下傳的檔案解壓到你想安裝的目錄下，假設為/home/livy
• 将/home/livy/bin 追加到環境變量path中

安裝sparkmagic

• pip install sparkmagic
• jupyter nbextension enable --py --sys-prefix widgetsnbextension

• 進入你剛剛用pip安裝的sparkmagic包的目錄下，運作以下幾個指令

  jupyter-kernelspec install sparkmagic/kernels/sparkkernel

  jupyter-kernelspec install sparkmagic/kernels/pysparkkernel

  jupyter-kernelspec install sparkmagic/kernels/pyspark3kernel

  jupyter-kernelspec install sparkmagic/kernels/sparkrkernel

• jupyter serverextension enable --py sparkmagic

如何使用

1. 啟動spark叢集: 終端運作$SPARK_HOME/sbin/start-all.sh
2. 啟動Livy服務：終端運作/home/livy/bin/livy-server
3. 啟動jupyter notebook: 終端運作jupyter notebook
4. 然後就可以在浏覽器中通路到基于master的ip的notebook，并在notebook中建立spark等四種kernel的筆記了