datastage實作資料增量抽取方案

實作方案

1. 資料量相對比較小，100W級别以下。

   根據日排程，實作前後兩天通過檔案對比，擷取相應增量資料。

   弊端：因為ODS 系統一般是多層存儲，需要保證每次日排程執行成功，否則會丢資料。

   

2. 資料量相對比較大，100W級别以上。

   一般業務系統會有自增長ID 列，我們會選擇擷取增量的時候，增加限制條件，比如SELECT * FROM TABLE_NAME WHERE ID>MAX(ID)

   其中MAX(ID) 為上一次，最大ID值，在利用可以放到一個臨時表。

   a）在排程時擷取maxid.Txt 的資料

   

   b）在利用Sequence 排程 各層之後，最後觸發該作業擷取最大ID 存儲到maxid.Txt檔案中。