天天看点

KETTLE DEMO 1-mysql 单表全量抽取

目的

熟悉etl平台数据抽取基本流程及基本操作

前置条件及注意事项

  • 在kettle online平台上创建Repository并连接
  • db类型为mariadb(mysql)
  • 抽取的原始表和目标表增均已存在,且原始表中有原始数据
  • 操作转换和job时,注意及时保存修改

1 抽取需求

将原始表kettle_trans_org的数据,全量抽取到目标表kettle_trans_new中,抽取转换:对原始表中math和english两列分别求和、求平均值,将对应结果插入到目标表中的score_sum和score_avg列,同时将插入时间插入到目标表中的create_time列
           
  • kettle_trans_org DDL
CREATE TABLE `kettle_trans_org` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `name` varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '姓名',
  `math` double DEFAULT NULL COMMENT '数据成绩',
  `english` double DEFAULT NULL COMMENT '英文成绩',
  `create_time` datetime DEFAULT NULL COMMENT '创建时间',
  	
           

继续阅读