天天看點

開源任務排程器“牆裂”推薦--DolphinScheduler

作者:白楊Shayne

簡介

Apache DolphinScheduler 是一個分布式易擴充的可視化DAG工作流任務排程開源系統。适用于企業級場景,提供了一個可視化操作任務、工作流和全生命周期資料處理過程的解決方案。并且支援中文界面。

目前,DolphinScheduler 已經是業界知名的分布式可視化大資料工作流排程系統,被聯通、IDG、IBM、京東物流、聯想、新東方、諾基亞、360、順豐和騰訊等諸多公司使用

開源任務排程器“牆裂”推薦--DolphinScheduler

支援的任務類型(紅顔色為常用的任務類型)

  • Shell:linux腳本,可執行Java任務
  • Dependent:任務依賴
  • Stored Procedure:存儲過程
  • Hive CLI:執行HIve SQL
  • SQL:jdbc連接配接關系資料庫執行SQL
  • Spark:Spark任務
  • MapReduce
  • Python
  • Flink
  • DataX
  • Appendix
  • HTTP
  • Pigeon
  • Conditions
  • Switch
  • SeaTunnel
  • Amazon EMR
  • Apache Zeppelin
  • Jupyter
  • Kubernetes
  • MLflow
  • Openmldb
  • DVC
  • Dinky
  • SageMaker
  • ChunJun
  • Pytorch
  • SubProcess

核心功能1-任務配置

  • 點選工作流定義->建立工作流定義->上線工作流定義
開源任務排程器“牆裂”推薦--DolphinScheduler

核心功能2-日志檢視

運作工作流定義->點選工作流執行個體->點選工作流執行個體名稱->輕按兩下任務節點->檢視任務執行日志

開源任務排程器“牆裂”推薦--DolphinScheduler

核心功能3-告警配置

支援郵件、短信、釘釘、微信等告警方式

開源任務排程器“牆裂”推薦--DolphinScheduler

繼續閱讀