(9)flink的kafka的結合

依賴

kafka的source

Flink+kafka是如何實作exactly-once語義的

kafka的消費

Flink通過checkpoint來儲存資料是否處理完成的狀态

由JobManager協調各個TaskManager進行checkpoint存儲，checkpoint儲存在 StateBackend中，預設StateBackend是記憶體級的，也可以改為檔案級的進行持久化儲存。

執行過程實際上是一個兩段式送出，每個算子執行完成，會進行“預送出”，直到執行完sink操作，會發起“确認送出”，如果執行失敗，預送出會放棄掉。

如果當機需要通過StateBackend進行恢複，隻能恢複所有确認送出的操作。