Spark+Scala完全分布式集群搭建过程

Scala2.11.8环境搭建

1、下载scala安装包scala-2.11.8.rpm安装

rpm -ivh scala-2.11.8.rpm 
           

2、添加Scala环境变量，在/etc/profile中添加：

export SCALA_HOME=/usr/local/src/scala
export PATH=$PATH:$SCALA_HOME/bin
           

3、保存后刷新配置

source /etc/profile
           

Spark2.1.0完全分布式环境搭建

以下操作都在Master节点进行。

1、下载二进制包spark-2.1.0-bin-hadoop2.7.tgz

2、解压并移动到相应目录，命令如下：

tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
           

3、修改相应的配置文件。

1) 修改/etc/profie，增加如下内容：

export SPARK_HOME=/usr/local/src/spark-2.1.0-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin
           

2) 复制spark-env.sh.template成spark-env.sh

cp spark-env.sh.template  spark-env.sh
           

3) 修改$SPARK_HOME/conf/spark-env.sh，添加如下内容：

export JAVA_HOME=/usr/local/src/jdk1.8.0_144
export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/usr/local/src/hadoop-2.7.3
export HADOOP_CONF_DIR=/usr/local/src/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=172.16.1.2
export SPARK_MASTER_HOST=172.16.1.2
export SPARK_LOCAL_IP=172.16.1.2
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/usr/local/src/spark-2.1.0-bin-hadoop2.7
export SPARK_DIST_CLASSPATH=$(/usr/local/src/hadoop-2.7.3/bin/hadoop classpath)
           

4) 复制slaves.template成slaves

cp slaves.template slaves
           

5) 修改$SPARK_HOME/conf/slaves，添加如下内容：

master
slave1
slave2
           

4、将配置好的spark文件复制到Slave1节点。（复制到slave2已省略）

5、修改Slave1和Slave2配置。

在Slave1和Slave2上分别修改/etc/profile，增加Spark的配置，过程同Master一样。

在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，将export SPARK_LOCAL_IP=172.16.1.2改成Slave1和Slave2对应节点的IP。

6、在Master节点启动集群。

/usr/local/src/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh
           

7、查看集群是否启动成功：

jps
           

Master在Hadoop的基础上新增了：

Master
           

Slave在Hadoop的基础上新增了：

Worker