一飞开源，介绍创意、新奇、有趣、实用的免费开源应用、系统、软件、硬件及技术，一个探索、发现、分享、使用与互动交流的开源技术社区平台。致力于打造活力开源社区，共建开源新生态！
一、开源项目简介
罗盘是一个大数据任务诊断平台，旨在提升用户排查问题效率，降低用户异常任务成本。
二、开源协议
使用Apache-2.0开源协议
三、界面展示
四、功能概述
罗盘是一个大数据任务诊断平台，旨在提升用户排查问题效率，降低用户异常任务成本。
其主要功能特性如下：
- 非侵入式，即时诊断，无需修改已有的调度平台，即可体验诊断效果。
- 支持多种主流调度平台，例如DolphinScheduler、Airflow或自研等。
- 支持多版本Spark、Hadoop 2.x和3.x 任务日志诊断和解析。
- 支持工作流层异常诊断，识别各种失败和基线耗时异常问题。
- 支持引擎层异常诊断，包含数据倾斜、大表扫描、内存浪费等14种异常类型。
- 支持各种日志匹配规则编写和异常阈值调整，可自行根据实际场景优化。
罗盘已支持诊断类型概览：
| 诊断维度 | 诊断类型 | 类型说明 |
| 失败分析 | 运行失败 | 最终运行失败的任务 |
| 首次失败 | 重试次数大于1的成功任务 | |
| 长期失败 | 最近10天运行失败的任务 | |
| 耗时分析 | 基线时间异常 | 相对于历史正常结束时间，提前结束或晚点结束的任务 |
| 基线耗时异常 | 相对于历史正常运行时长，运行时间过长或过短的任务 | |
| 运行耗时长 | 运行时间超过2小时的任务 | |
| 报错分析 | sql失败 | 因sql执行问题而导致失败的任务 |
| shuffle失败 | 因shuffle执行问题而导致失败的任务 | |
| 内存溢出 | 因内存溢出问题而导致失败的任务 | |
| 成本分析 | 内存浪费 | 内存使用峰值与总内存占比过低的任务 |
| CPU浪费 | driver/executor计算时间与总CPU计算时间占比过低的任务 | |
| 效率分析 | 大表扫描 | 没有限制分区导致扫描行数过多的任务 |
| OOM预警 | 广播表的累计内存与driver或executor任意一个内存占比过高的任务 | |
| 数据倾斜 | stage中存在task处理的最大数据量远大于中位数的任务 | |
| Job耗时异常 | job空闲时间与job运行时间占比过高的任务 | |
| Stage耗时异常 | stage空闲时间与stage运行时间占比过高的任务 | |
| Task长尾 | stage中存在task最大运行耗时远大于中位数的任务 | |
| HDFS卡顿 | stage中存在task处理速率过慢的任务 | |
| 推测执行Task过多 | stage中频繁出现task推测执行的任务 | |
| 全局排序异常 | 全局排序导致运行耗时过长的任务 |
五、技术选型
Compass(罗盘) 部署指南
Compass 依赖了调度平台、Hadoop、Spark、Canal、MySQL、Kafka、Redis、Zookeeper、Elasticsearch，需要提前准备好相关环境。
Compass 支持单机和集群部署，可按模块弹性扩缩容。
工程目录
compass
├── bin
│ ├── compass_env.sh 环境变量，基础组件配置
│ ├── start_all.sh 启动脚本
│ └── stop_all.sh 停止脚本
├── conf
│ └── application-hadoop.yml hadoop相关配置
├── task-application 关联任务实例、applicationId、hdfs_log_path
├── task-canal 订阅调度平台MySQL表元数据到Kafka
├── task-canal-adapter 同步调度平台MySQL表元数据Compass平台
├── task-detect 工作流层异常类型检测
├── task-metadata 同步Yarn、Spark任务元数据到Elasticsearch
├── task-parser 日志解析和Spark任务异常检测
├── task-portal 异常任务的可视化服务
└── task-syncer 调度平台任务关系表的抽象和映射 如何使用
1. 代码编译
访问一飞开源：https://code.exmay.com/ 下载
cd compass
mvn package -DskipTests 2. 配置修改
cd dist/compass
vim bin/compass_env.sh
# Scheduler MySQL
export SCHEDULER_MYSQL_ADDRESS="ip:port"
export SCHEDULER_MYSQL_DB="scheduler"
export SCHEDULER_DATASOURCE_USERNAME="user"
export SCHEDULER_DATASOURCE_PASSWORD="pwd"
# Compass MySQL
export COMPASS_MYSQL_ADDRESS="ip:port"
export COMPASS_MYSQL_DB="compass"
export SPRING_DATASOURCE_USERNAME="user"
export SPRING_DATASOURCE_PASSWORD="pwd"
# Kafka
export SPRING_KAFKA_BOOTSTRAPSERVERS="ip1:port,ip2:port"
# Redis
export SPRING_REDIS_CLUSTER_NODES="ip1:port,ip2:port"
# Zookeeper
export SPRING_ZOOKEEPER_NODES="ip1:port,ip2:port"
# Elasticsearch
export SPRING_ELASTICSEARCH_NODES="ip1:port,ip2:port" 3. 一键部署
./bin/start_all.sh 系统架构
系统架构图
架构说明
整体架构分3层：
- 调度系统对接层：实现对接调度器、Yarn、Spark、HDFS等系统，同步任务及其日志元数据到诊断系统；
- 服务层：包括数据采集、元数据关联&模型标准化、异常检测、Portal模块；
- 基础组件层：包括MySQL、 Elasticsearch、Kafka、Redis、Zookeeper等组件。
具体模块流程阶段：
- 数据采集阶段：task-canal/adapter模块订阅同步调度系统的用户、DAG、作业、执行记录等工作流元数据同步至诊断平台；task-metadata模块定时同步Yarn ResourceManager、Spark HistoryServer App元数据至诊断系统，关联日志存储路径，为后续数据处理阶段作基础；
- 数据关联与模型标准化阶段：task-syncer模块将同步的数据标准化为User、Project、Flow、Task、TaskInstance模型；task-application模块将工作流层与引擎层元数据关联；
- 工作流层&引擎层异常检测阶段：至此已经获得数据标准模型，针对标准模型进一步Workflow异常检测流程。task-detect模块进行工作流层异常任务检测，例如运行失败、基线耗时异常等；task-parser模块进行引擎层异常任务检测，例如SQL失败、Shuffle失败等；
- 业务视图：task-portal模块提供用户报告总览、一键诊断、工作流层任务诊断、引擎层作业Application诊断、诊断建议和详细报告、白名单等功能。
更多细节请参考部署指南
六、源码地址
访问一飞开源：https://code.exmay.com/