X-Pack Spark用户手册

概述

X-Pack Spark是大数据平台的通用计算平台，应用非常广泛。本文主要介绍Spark相关的知识，主要包括：了解Spark，使用Spark，使用Spark过程中遇到的问题FAQ等，谨帮助用户快速的掌握Spark以及如何使用Spark。

X-Pack Spar兼容开源Spark，本文介绍的内素材以X-Pack Spark为背景。

大纲

基础篇

1. Spark的入门介绍
   1. 如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析 .
   2. Spark 通用的性能配置方法：内存(executor-memory)和CPU(executor-cores)的配置 。
   3. Spark本地连接hbase集群做调试
2. Spark SQL语法介绍
3. Spark Streaming介绍
4. Structured Streaming介绍
5. Spark DataSource外部数据源介绍

进阶篇（高级功能）

X-Pack Spark使用[FAQ]

FAQ明细请参考：

X-Pack Spark使用FAQ

X-Pack Spark之性能优化

1. Spark Streaming 常见优化。

案例实战

1. 广告点击数实时统计：Spark StructuredStreaming + Redis Streams
2. SparkSQL在有赞的实践
3. HBase+Spark游戏大数据的实践
4. X-Pack Spark对接阿里云日志服务LogHub
5. RDS&POLARDB归档到X-Pack Spark计算最佳实践

注意，本篇文章可以转载，但必须保留原文地址，以及上面各小结原文地址。

钉钉交流