spark 叢集簡單配置

一、配置環境變量：

export SPARK_HOME=/usr/hdp/2.2.8.0-3150/spark-1.6.1-bin-hadoop2.6

PATH=$PATH:${SPARK_HOME}/bin

export PATH

二、配置環境：

vi ./conf/spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_73

export SPARK_MASTER_IP=192.168.1.101

export SPARK_WORKER_CORES=2    #目前節點的cpu使用個數

export SPARK_WORKER_MEMORY=1g   #目前節點的記憶體

export HADOOP_CONF_DIR=/usr/hdp/2.2.8.0-3150/hadoop/etc/hadoop

三、配置節點位址：

vi ./conf/slaves

添加：

192.168.1.101

192.168.1.102

192.168.1.103

四、啟動檢視：

sbin/start-all.sh

叢集頁面：192.168.1.103:8080

各個節點的頁面位址：192.168.1.101:8081，192.168.1.102:8081，192.168.1.103:8081

本文轉自 yntmdr 51CTO部落格，原文連結：http://blog.51cto.com/yntmdr/1765273，如需轉載請自行聯系原作者