目的
熟悉etl平台数据抽取基本流程及基本操作
前置条件及注意事项
- 在kettle online平台上创建Repository并连接
- db类型为mariadb(mysql)
- 抽取的原始表和目标表增均已存在,且原始表中有原始数据
- 操作转换和job时,注意及时保存修改
1 抽取需求
将原始表kettle_trans_org的数据,全量抽取到目标表kettle_trans_new中,抽取转换:对原始表中math和english两列分别求和、求平均值,将对应结果插入到目标表中的score_sum和score_avg列,同时将插入时间插入到目标表中的create_time列
- kettle_trans_org DDL
CREATE TABLE `kettle_trans_org` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
`name` varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '姓名',
`math` double DEFAULT NULL COMMENT '数据成绩',
`english` double DEFAULT NULL COMMENT '英文成绩',
`create_time` datetime DEFAULT NULL COMMENT '创建时间',