spark 集群简单配置

一、配置环境变量：

export SPARK_HOME=/usr/hdp/2.2.8.0-3150/spark-1.6.1-bin-hadoop2.6

PATH=$PATH:${SPARK_HOME}/bin

export PATH

二、配置环境：

vi ./conf/spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_73

export SPARK_MASTER_IP=192.168.1.101

export SPARK_WORKER_CORES=2    #当前节点的cpu使用个数

export SPARK_WORKER_MEMORY=1g   #当前节点的内存

export HADOOP_CONF_DIR=/usr/hdp/2.2.8.0-3150/hadoop/etc/hadoop

三、配置节点地址：

vi ./conf/slaves

添加：

192.168.1.101

192.168.1.102

192.168.1.103

四、启动查看：

sbin/start-all.sh

集群页面：192.168.1.103:8080

各个节点的页面地址：192.168.1.101:8081，192.168.1.102:8081，192.168.1.103:8081

本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/1765273，如需转载请自行联系原作者