flink背压问题解决记录

flink做流表维表关联，每天TB级数据量，维表存储在mysql。程序提交后，查看背压率为1.严重背压了

flink源是kafka，sink到hdfs。用到算子filter、process算子

filter按规则过滤

process关联维表，并作数据转换拼接

从flinkUI中看到filter方框的背压率为1，查看参数是output产生的背压，也就是process算子产生的背压。

优化手段：

checkpoint存储到rockDB，缩短checkpoint时间

给维表添加缓存，先读缓存，读不到再读数据库

mysql匹配字段添加索引

提高process算子并行度