天天看点

开源任务调度器“墙裂”推荐--DolphinScheduler

简介

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。并且支持中文界面。

目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用

开源任务调度器“墙裂”推荐--DolphinScheduler

支持的任务类型(红颜色为常用的任务类型)

  • Shell:linux脚本,可执行Java任务
  • Dependent:任务依赖
  • Stored Procedure:存储过程
  • Hive CLI:执行HIve SQL
  • SQL:jdbc连接关系数据库执行SQL
  • Spark:Spark任务
  • MapReduce
  • Python
  • Flink
  • DataX
  • Appendix
  • HTTP
  • Pigeon
  • Conditions
  • Switch
  • SeaTunnel
  • Amazon EMR
  • Apache Zeppelin
  • Jupyter
  • Kubernetes
  • MLflow
  • Openmldb
  • DVC
  • Dinky
  • SageMaker
  • ChunJun
  • Pytorch
  • SubProcess

核心功能1-任务配置

  • 点击工作流定义->创建工作流定义->上线工作流定义
开源任务调度器“墙裂”推荐--DolphinScheduler

核心功能2-日志查看

运行工作流定义->点击工作流实例->点击工作流实例名称->双击任务节点->查看任务执行日志

开源任务调度器“墙裂”推荐--DolphinScheduler

核心功能3-告警配置

支持邮件、短信、钉钉、微信等告警方式

开源任务调度器“墙裂”推荐--DolphinScheduler

继续阅读