简介
Smart Kettle是针对上述企业的痛点,对kettle的使用做了一些包装、优化,使其在web端也能具备基础的kettle作业、转换的配置、调度、监控,能在很大一定程度上协助企业完成不同业务场景下数据的ETL(抽取、转换、加工)的能力。
注意:本系统并非是对kettle源码的再造,而是借助kettle的API,实现kettle在web端功能华丽的转身
技术栈
- 前端使用nginx 作为前端服务器
- 前端使用vue作为展现框架
- 数据库端使用mysql作为基础数据库
- 数据库监控使用Druid作为基础监控
- 定时调度使用Quartz作为基础插件
- 后端框架使用Springboot+Mybatis作为组合
功能
- 持作业、转换的自定义模板设置
- 持作业、转换的多任务模板复制
- 持作业、转换的GUI端配置同步到web端
- 持作业、转换的日志自定路径配置
- 持作业、转换的日志文件下载管理
- 持文件库资源库配置
- 持数据库资源库配置
- 持SFTP/FTP/FTPS的远程资源库配置
- 持资源库目录树查看
- 持作业、转换的集群调度(远程子服务器调用)
- 持作业、转换的GUI端配置同步到web端
- 持作业、转换的调度配置
- 持作业、转换的监控管理
- 持作业、转换的本地执行
- 持作业、转换的远程执行
- 持作业、转换的定时配置
- 持作业、转换的实时监控
- 持kettle的web端资源库管理
- 持自定义线程池设置、任务的并行处理
- 持kettle 任务的告警监控、日志管理
- 供丰富的业务库、字典库自定义设置
- 供完整的、实时的大盘调度监控
- 供系统的用户、角色、权限管理
- 供Druid数据库查询脚本的实时监控能力
- 持 Kettle 7.0.1+以上 版本
界面截图
调度大盘
作业调度
转换调度
定时调度
文件库资源库