X-Pack Spark使用者手冊

概述

X-Pack Spark是大資料平台的通用計算平台，應用非常廣泛。本文主要介紹Spark相關的知識，主要包括：了解Spark，使用Spark，使用Spark過程中遇到的問題FAQ等，謹幫助使用者快速的掌握Spark以及如何使用Spark。

X-Pack Spar相容開源Spark，本文介紹的内素材以X-Pack Spark為背景。

大綱

基礎篇

1. Spark的入門介紹
   1. 如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任務運作狀況的分析 .
   2. Spark 通用的性能配置方法：記憶體(executor-memory)和CPU(executor-cores)的配置 。
   3. Spark本地連接配接hbase叢集做調試
2. Spark SQL文法介紹
3. Spark Streaming介紹
4. Structured Streaming介紹
5. Spark DataSource外部資料源介紹

進階篇（進階功能）

X-Pack Spark使用[FAQ]

FAQ明細請參考：

X-Pack Spark使用FAQ

X-Pack Spark之性能優化

1. Spark Streaming 常見優化。

案例實戰

1. 廣告點選數實時統計：Spark StructuredStreaming + Redis Streams
2. SparkSQL在有贊的實踐
3. HBase+Spark遊戲大資料的實踐
4. X-Pack Spark對接阿裡雲日志服務LogHub
5. RDS&POLARDB歸檔到X-Pack Spark計算最佳實踐

注意，本篇文章可以轉載，但必須保留原文位址，以及上面各小結原文位址。

釘釘交流