天天看點

kettle循環(隻适用于資料量不大的情況下)

直接上例子,适用在考慮使用:

我當時的需求是将文本檔案的資料插入更新到資料庫,資料量大概為200w以上,執行完需要一個多小時,自己在網上搜到的用js腳本實作循環,覺得不太好(個人原因),是以無意之間發現了這個方法

kettle循環(隻适用于資料量不大的情況下)

上圖有兩個轉換,擷取檔案資料和比對資料,做相應操作

需要将擷取到的資料在比對資料,做相應操作轉換中進行資料庫比對,打日志等操作,如果不循環查庫(此處就是慢的原因,加索引也不好使)将得不到插入更新标記,也就無法接下來的操作。

循環其實就是執行所有資料的每一行,kettle已經提供了相應功能:

kettle循環(隻适用于資料量不大的情況下)

至此,就可以實作循環了,有興趣可以留言,有相關問題可以解答。

繼續閱讀