簡介
Apache DolphinScheduler 是一個分布式易擴充的可視化DAG工作流任務排程開源系統。适用于企業級場景,提供了一個可視化操作任務、工作流和全生命周期資料處理過程的解決方案。并且支援中文界面。
目前,DolphinScheduler 已經是業界知名的分布式可視化大資料工作流排程系統,被聯通、IDG、IBM、京東物流、聯想、新東方、諾基亞、360、順豐和騰訊等諸多公司使用
支援的任務類型(紅顔色為常用的任務類型)
- Shell:linux腳本,可執行Java任務
- Dependent:任務依賴
- Stored Procedure:存儲過程
- Hive CLI:執行HIve SQL
- SQL:jdbc連接配接關系資料庫執行SQL
- Spark:Spark任務
- MapReduce
- Python
- Flink
- DataX
- Appendix
- HTTP
- Pigeon
- Conditions
- Switch
- SeaTunnel
- Amazon EMR
- Apache Zeppelin
- Jupyter
- Kubernetes
- MLflow
- Openmldb
- DVC
- Dinky
- SageMaker
- ChunJun
- Pytorch
- SubProcess
核心功能1-任務配置
- 點選工作流定義->建立工作流定義->上線工作流定義
核心功能2-日志檢視
運作工作流定義->點選工作流執行個體->點選工作流執行個體名稱->輕按兩下任務節點->檢視任務執行日志
核心功能3-告警配置
支援郵件、短信、釘釘、微信等告警方式