[Spark 學習]-- 初級規劃

1 Spark 架構介紹

1.1 Spark 介紹【​​點選連結​​】

1.1.1 Spark 是什麼？

1.1.2 為什麼使用 Spark？

1.1.3 應用場景有哪些？

1.1.4 參考

1.1.5 小結

1.2 Spark core【​​點選連結​​】

1.2.1 spark 技術棧

1.2.2 spark 是怎樣工作的

1.2.3 RDD 是什麼？有哪些特點？RDD 在哪裡？

1.2.4 RDD 有哪些 Operator ?

1.2.5 小結

1.3 Spark 實踐【​​點選連結​​】

1.3.1  開發環境搭建

1.3.2  編譯 Spark 源碼

1.3.3  運作第一個執行個體

1.3.4  小結

1.4 Spark 運作架構

1.4.1 Spark 運作模式（本地& 叢集）

1.4.2 叢集管理器（Standalone、Yarn、Mesos和 K8S）

1.4.3 運作架構介紹

1.4.3.1 本地模式(Local)

1.4.3.2 僞分布式(Local-Cluster)

1.4.3.3 Standalone

1.4.3.4 Yarn 運作模式

1.4.3.5 Mesos 運作模式

1.4.3.6 K8s 運作模式

1.4.4 示範

1.4.5 小結

2 Spark SQL

2.1 簡介

2.2 Spark SQL 運作原理

2.3 Hive on Spark 

2.4 示範

2.5 小結

3 部署 Spark 應用

3.1 互動式運作Spark 程式

3.2 建立和送出 Spark 應用

3.3  配置 Spark 應用

3.4 監控 Spark 應用

3.5 小結

4 優化 Spark 應用程式

4.1 Spark 執行模型

4.2 調優方法

4.2.1 減少Shuffle

4.2.2 分區和并行性（Task 數）

4.2.3 資料的序列化和壓縮

4.2.4 Spark SQL 查詢優化

4.2.5 緩存資料

4.2.6 廣播變量

4.8 小結