《Spark核心技術與進階應用》——導讀

本節書摘來自華章社群《spark核心技術與進階應用》一書中的目錄，作者于俊　向海　代其鋒　馬海平，更多章節内容可以通路雲栖社群“華章社群”公衆号檢視

前　言

基　礎　篇

<a href="https://yq.aliyun.com/articles/108392">第1章　spark簡介</a>

<a href="https://yq.aliyun.com/articles/108401">1.1　什麼是spark</a>

<a href="https://yq.aliyun.com/articles/108406">1.2　spark的重要擴充</a>

<a href="https://yq.aliyun.com/articles/108410">1.3　本章小結</a>

<a href="https://yq.aliyun.com/articles/108412">第2章　spark部署和運作</a>

<a href="https://yq.aliyun.com/articles/108421">2.1　部署準備</a>

<a href="https://yq.aliyun.com/articles/108427">2.2　spark部署</a>

<a href="https://yq.aliyun.com/articles/108438">2.3　運作spark應用程式</a>

<a href="https://yq.aliyun.com/articles/108440">2.4　本章小結</a>

<a href="https://yq.aliyun.com/articles/108442">第3章　spark程式開發</a>

<a href="https://yq.aliyun.com/articles/108449">3.1　使用spark shell編寫程式</a>

<a href="https://yq.aliyun.com/articles/108469">3.2　建構spark的開發環境</a>

<a href="https://yq.aliyun.com/articles/108474">3.3　獨立應用程式程式設計</a>

<a href="https://yq.aliyun.com/articles/108477">3.4　本章小結</a>

第4章　程式設計模型

4.1　rdd介紹

4.2　建立rdd

4.3　rdd操作

4.4　共享變量

4.5　本章小結

第5章　作業執行解析

5.1　基本概念

5.2　作業執行流程

5.3　運作時環境

5.4　應用程式運作執行個體

5.5　本章小結

第6章　spark sql與dataframe

6.1　概述

6.2　dataframe

6.3　資料源

6.4　分布式的sql engine

6.5　性能調優

6.6　資料類型

6.7　本章小結

第7章　深入了解spark streaming

7.1　基礎知識

7.2　dstream操作

7.3　性能調優

7.4　容錯處理

7.5　一個例子

7.6　本章小結

第8章　spark mllib與機器學習

8.1　機器學習概述

8.2　spark mllib介紹

8.3　spark mllib庫

8.4　ml庫

8.5　本章小結

第9章　graphx圖計算架構與應用

9.1　概述

9.2　spark graphx架構

9.3　graphx程式設計

9.4　應用場景

9.5　本章小結

第10章　sparkr（r on spark）

10.1　概述

10.2　安裝sparkr

10.3　sparkr的運作與應用示例

10.4　本章小結

實　戰　篇

第11章　大資料分析系統

11.1　背景

11.2　資料格式

11.3　應用架構

11.4　業務實作

11.5　本章小結

第12章　系統資源分析平台

12.1　業務背景

12.2　應用架構

12.3　代碼實作

12.4　結果驗證

12.5　本章小結

第13章　在spark上訓練lr模型

13.1　邏輯回歸簡介

13.2　資料格式

13.3　mllib中lr模型源碼介紹

13.4　實作案例

13.5　本章小結

第14章　擷取二級鄰居關系圖

14.1　了解pagerank

14.2　pagerank算法基于spark的實作

14.3　基于pagerank的二級鄰居擷取

14.4　本章小結

高　級　篇

第15章　排程管理

15.1　排程概述

15.2　排程器

15.3　本章小結

第16章　存儲管理

16.1　硬體環境

16.2　storage子產品

16.3　shuff?le資料持久化

16.4　本章小結

第17章　監控管理

17.1　web界面

17.2　spark ui曆史監控

17.3　監控工具

17.4　本章小結

第18章　性能調優

18.1　檔案的優化

18.2　序列化資料

18.3　緩存

18.4　共享變量

18.5　流水線優化

18.6　本章小結

擴　展　篇

第19章　spark-jobserver實踐

19.1　spark-jobserver是什麼

19.2　編譯、部署及體驗

19.3　spark-jobserver程式實戰

19.4　使用場景：使用者屬性分布計算

19.5　本章小結

第20章　spark tachyon實戰

20.1　tachyon檔案系統

20.2　tachyon入門

20.3　 容錯機制

20.4　本章小結