flink背壓問題解決記錄

flink做流表維表關聯，每天TB級資料量，維表存儲在mysql。程式送出後，檢視背壓率為1.嚴重背壓了

flink源是kafka，sink到hdfs。用到算子filter、process算子

filter按規則過濾

process關聯維表，并作資料轉換拼接

從flinkUI中看到filter方框的背壓率為1，檢視參數是output産生的背壓，也就是process算子産生的背壓。

優化手段：

checkpoint存儲到rockDB，縮短checkpoint時間

給維表添加緩存，先讀緩存，讀不到再讀資料庫

mysql比對字段添加索引

提高process算子并行度