Scala2.11.8環境搭建
1、下載下傳scala安裝包scala-2.11.8.rpm安裝
rpm -ivh scala-2.11.8.rpm
2、添加Scala環境變量,在/etc/profile中添加:
export SCALA_HOME=/usr/local/src/scala
export PATH=$PATH:$SCALA_HOME/bin
3、儲存後重新整理配置
source /etc/profile
Spark2.1.0完全分布式環境搭建
以下操作都在Master節點進行。
1、下載下傳二進制包spark-2.1.0-bin-hadoop2.7.tgz
2、解壓并移動到相應目錄,指令如下:
tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz
3、修改相應的配置檔案。
1) 修改/etc/profie,增加如下内容:
export SPARK_HOME=/usr/local/src/spark-2.1.0-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin
2) 複制spark-env.sh.template成spark-env.sh
cp spark-env.sh.template spark-env.sh
3) 修改$SPARK_HOME/conf/spark-env.sh,添加如下内容:
export JAVA_HOME=/usr/local/src/jdk1.8.0_144
export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/usr/local/src/hadoop-2.7.3
export HADOOP_CONF_DIR=/usr/local/src/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=172.16.1.2
export SPARK_MASTER_HOST=172.16.1.2
export SPARK_LOCAL_IP=172.16.1.2
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/usr/local/src/spark-2.1.0-bin-hadoop2.7
export SPARK_DIST_CLASSPATH=$(/usr/local/src/hadoop-2.7.3/bin/hadoop classpath)
4) 複制slaves.template成slaves
cp slaves.template slaves
5) 修改$SPARK_HOME/conf/slaves,添加如下内容:
master
slave1
slave2
4、将配置好的spark檔案複制到Slave1節點。(複制到slave2已省略)
5、修改Slave1和Slave2配置。
在Slave1和Slave2上分别修改/etc/profile,增加Spark的配置,過程同Master一樣。
在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh,将export SPARK_LOCAL_IP=172.16.1.2改成Slave1和Slave2對應節點的IP。
6、在Master節點啟動叢集。
/usr/local/src/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh
7、檢視叢集是否啟動成功:
jps
Master在Hadoop的基礎上新增了:
Master
Slave在Hadoop的基礎上新增了:
Worker