Yarn 叢集模式_2 | 學習筆記

開發者學堂課程【大資料實時計算架構 Spark 快速入門：Yarn 叢集模式_2】學習筆記，與課程緊密聯系，讓使用者快速學習知識。

課程位址：

https://developer.aliyun.com/learning/course/100/detail/1660

Yarn 叢集模式_2

内容介紹：

一、Yarn 叢集模式

二、配置好 hadoop 環該境變量

需要的配置項

spark-env sh

export YARN_CONE_DIR-SHADOOPINSTALL/etc/hadoop o

export HADOOP_ CONE DIR=SHADOOP INSTALL/etc/hado

export SPARK HOME-/usr/hadoopsoft/spark-1. 3. 1-bin-hadoop2 4

export SPARK_JAR=/usr/hadoopsoft/spark-131-bin-hadoop24/lib/spark-assembly-131-hadoop240.jar

export PATH=SSPARK HOME/bin: SPATH

bash pr

Yarn 叢集模式

client 模式:

結果 xshe11 可見:

/Hin/spark-submit --class org apache. spark. examples SparkPi --master yarn-client --executor-memory 1G--num

cluster 模式

結果 spark001:8088 裡面可見!

/bin/spark-submit --class org apache, spark examples. sparkPi --master yarn-cluster --executor-memory--num

叢集

RM   ——  NM  —— MM

Driver