天天看点

kettle增量循环导入数据--实现更新、删除

在工作中遇到了需要自增循环导入的情况,因为数据量太大,所以想采用根据总数据量,kettle判断循环次数,人为控制每批次传输的数量。在网上查找了很多信息,自己也解决了一些问题,汇聚成了一篇小文章,分享一下。

第一是作业总设计图:

kettle增量循环导入数据--实现更新、删除

1---定义变量模块内容

第一步为转换结构:主要用于定义变量和获取变量,为下步判断和第三步的循环提供基础。 

kettle增量循环导入数据--实现更新、删除

 2-----判断模块内容

kettle增量循环导入数据--实现更新、删除

3------循环模块内容

javaScript内主要是变量循环+1(${RUN_NUM})以及控制每批次传输的量(${START})

kettle增量循环导入数据--实现更新、删除

 4-----传输模块

kettle增量循环导入数据--实现更新、删除

这样的一次kettle循环传输数据就完成了。每次传输时自己定义导入数量。

步骤4的传输转换,可以更换为增量导入转换。 

使用kettle实现增量更新_IT小学徒qwer的博客-CSDN博客_kettle增量更新

继续阅读