天天看點

kafka Confluent資料寫入BUG

BUG場景:流最後的資料,會停留下hadf的”+tmp”目錄

偷懶到不能更偷懶的流程圖:

簡單到不能再簡單

執行完S3後,如果資料沒有達到足夠條數:

1. 緩存被清理

2. 資料剛寫入不會timeout,資料存在HDFS tmp目錄中

3. C2中 timeout不是定時器實作,隻在判斷點計算時間差。

4. 後入如果沒有資料來,hdfs tmp目錄中資料不會被轉移至目标目錄。