在工作中遇到了需要自增循环导入的情况,因为数据量太大,所以想采用根据总数据量,kettle判断循环次数,人为控制每批次传输的数量。在网上查找了很多信息,自己也解决了一些问题,汇聚成了一篇小文章,分享一下。
第一是作业总设计图:
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLiYTMfhHLlN3XnxCM38FdsYkRGZkRG9lcvx2bjxSMx8VZ6l2csM0Q0QTd1RTNP1iW1czUwVTT5dzNP1iW1czUwVTT5dzNP1iW1czUwVTQClGVF5UMR9Fd4VGdsATNfd3bkFGazxycykFaKdkYzZUbapXNXlleSdVY2pESa9VZwlHdssmch1mclRXY39CXldWYtlWPzNXZj9mcw1ycz9WL49zZuBnL1I2Y5MGZ2I2NlZDOhdzY5EjYyQDO5UDZ2MWMxMDO4gzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
1---定义变量模块内容
第一步为转换结构:主要用于定义变量和获取变量,为下步判断和第三步的循环提供基础。
2-----判断模块内容
3------循环模块内容
javaScript内主要是变量循环+1(${RUN_NUM})以及控制每批次传输的量(${START})
4-----传输模块
这样的一次kettle循环传输数据就完成了。每次传输时自己定义导入数量。
步骤4的传输转换,可以更换为增量导入转换。
使用kettle实现增量更新_IT小学徒qwer的博客-CSDN博客_kettle增量更新