Spark-On-Yarn

client-了解

1.需要Yarn叢集

2.曆史伺服器

3.送出任務的的用戶端工具-spark-submit指令

4.待送出的spark任務/程式的位元組碼--可以使用示例程式

兩個指令的差別

spark-shell:spark應用互動式視窗,啟動後可以直接編寫spark代碼,即時運作,一般在學習測試時使用

spark-submit:用來将spark任務/程式的jar包送出到spark叢集(一般都是送出到Yarn叢集)

導入依賴