BUG場景:流最後的資料,會停留下hadf的”+tmp”目錄
偷懶到不能更偷懶的流程圖:
簡單到不能再簡單
執行完S3後,如果資料沒有達到足夠條數:
1. 緩存被清理
2. 資料剛寫入不會timeout,資料存在HDFS tmp目錄中
3. C2中 timeout不是定時器實作,隻在判斷點計算時間差。
4. 後入如果沒有資料來,hdfs tmp目錄中資料不會被轉移至目标目錄。
偷懶到不能更偷懶的流程圖:
執行完S3後,如果資料沒有達到足夠條數:
1. 緩存被清理
2. 資料剛寫入不會timeout,資料存在HDFS tmp目錄中
3. C2中 timeout不是定時器實作,隻在判斷點計算時間差。
4. 後入如果沒有資料來,hdfs tmp目錄中資料不會被轉移至目标目錄。