前期準備
maven3.3.9+安裝
jdk1.7+jdk安裝
scala安裝
下載下傳
http://spark.apache.org/downloads.html
這裡是下載下傳源碼，根據我們生成的環境自己編譯
官網編譯源碼介紹
建立目錄
mkdir /app/spark
cd /app/spark
解壓
tar -zxvf spark-2.2.0.tgz
使用dev中的make-distribution.sh指令編譯
cd /app/spark/spark-2.2.0
./dev/make-distribution.sh --name 2.9.0 --tgz -Psparkr -Phadoop-2.9 -Phive -Phive-thriftserver -Pmesos -Pyarn -Dhaoop.version=2.9.0
參數介紹
-Dhaoop.version=2.9.0
--name 編譯後spark安裝包的名字
--tgz 以tgz方式壓縮
-Psparkr 編譯出來的spark支援R語言
-Phive 編譯出來的spark支援對hive的操作
-Phive-thriftserver 編譯出來的spark支援對hive的操作
-Pmesos 編譯出來的spark支援在mesos運作
-Pyarn 編譯出來的spark支援在yarn運作
編譯成功
生成的包就在spark源碼的根目錄下
生成的名稱可能不一樣。
先要安裝scala
解壓
tar -zxvf spark-2.2.0-bin-2.9.0.tgz
移動
mv spark-2.2.0-bin-2.9.0 /app/spark
配置環境變量
vi ~/.bashrc
export SPARK_HOME=/app/spark/spark-2.2.0-bin-2.9.0
export PATH=:$PATH:$SPARK_HOME/bin
使配置立刻生效
source ~/.bashrc
進入目錄
cd /app/spark/spark-2.2.0-bin-2.9.0/bin
檢驗是否安裝成功
./spark-shell --version
./spark-shell --master local[2]
圖形使用者界面
http://node1:4040/jobs/