前期准备
maven3.3.9+安装
jdk1.7+jdk安装
scala安装
下载
http://spark.apache.org/downloads.html
这里是下载源码，根据我们生成的环境自己编译
官网编译源码介绍
创建目录
mkdir /app/spark
cd /app/spark
解压
tar -zxvf spark-2.2.0.tgz
使用dev中的make-distribution.sh命令编译
cd /app/spark/spark-2.2.0
./dev/make-distribution.sh --name 2.9.0 --tgz -Psparkr -Phadoop-2.9 -Phive -Phive-thriftserver -Pmesos -Pyarn -Dhaoop.version=2.9.0
参数介绍
-Dhaoop.version=2.9.0
--name 编译后spark安装包的名字
--tgz 以tgz方式压缩
-Psparkr 编译出来的spark支持R语言
-Phive 编译出来的spark支持对hive的操作
-Phive-thriftserver 编译出来的spark支持对hive的操作
-Pmesos 编译出来的spark支持在mesos运行
-Pyarn 编译出来的spark支持在yarn运行
编译成功
生成的包就在spark源码的根目录下
生成的名称可能不一样。
先要安装scala
解压
tar -zxvf spark-2.2.0-bin-2.9.0.tgz
移动
mv spark-2.2.0-bin-2.9.0 /app/spark
配置环境变量
vi ~/.bashrc
export SPARK_HOME=/app/spark/spark-2.2.0-bin-2.9.0
export PATH=:$PATH:$SPARK_HOME/bin
使配置立刻生效
source ~/.bashrc
进入目录
cd /app/spark/spark-2.2.0-bin-2.9.0/bin
检验是否安装成功
./spark-shell --version
./spark-shell --master local[2]
图形用户界面
http://node1:4040/jobs/