Yarn 集群模式_2 | 学习笔记

开发者学堂课程【大数据实时计算框架 Spark 快速入门：Yarn 集群模式_2】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：

https://developer.aliyun.com/learning/course/100/detail/1660

Yarn 集群模式_2

内容介绍：

一、Yarn 集群模式

二、配置好 hadoop 环该境变量

需要的配置项

spark-env sh

export YARN_CONE_DIR-SHADOOPINSTALL/etc/hadoop o

export HADOOP_ CONE DIR=SHADOOP INSTALL/etc/hado

export SPARK HOME-/usr/hadoopsoft/spark-1. 3. 1-bin-hadoop2 4

export SPARK_JAR=/usr/hadoopsoft/spark-131-bin-hadoop24/lib/spark-assembly-131-hadoop240.jar

export PATH=SSPARK HOME/bin: SPATH

bash pr

Yarn 集群模式

client 模式:

结果 xshe11 可见:

/Hin/spark-submit --class org apache. spark. examples SparkPi --master yarn-client --executor-memory 1G--num

cluster 模式

结果 spark001:8088 里面可见!

/bin/spark-submit --class org apache, spark examples. sparkPi --master yarn-cluster --executor-memory--num

集群

RM   ——  NM  —— MM

Driver