目錄
前言
一、Client模式
二、Cluster模式
三、兩種模式對比
前言
需要在環境變量裡設定HADOOP_CONF_DIR或YARN_CONF_DIR，告訴Spark如何連接配接Hadoop
一、Client模式
spark-submit \
--class com.wsd.sparkcore.scala.SparkWCListenerV2 \
--master yarn \
--deploy-mode client \
/opt/lib/bg-spark-core-1.0.jar \
/data/wc/wc.txt /data/wc/spark-wc
二、Cluster模式
spark-submit \
--class com.wsd.sparkcore.scala.SparkWCListenerV2 \
--master yarn \
--deploy-mode cluster \
/opt/lib/bg-spark-core-1.0.jar \
/data/wc/wc.txt /data/wc/spark-wc
三、兩種模式對比
可以看到兩種模式，最大的差別就是
client模式Driver運作在本地，而cluster模式Driver運作在AM中。
是以
client模式：client是不能退出的，能看到日志，AM僅負責申請資源，Driver負責排程DAG、分發任務
cluster模式：client是可以退出的，client端看不到日志，AM出負責申請資源，還負責排程DAG、分發任務
如何選擇？
我們業務的client機器本身就是在叢集中，兩種模式流量并不會差太多，為了友善觀察實時運作日志，選擇的是client模式