天天看點

flink 讀取hive表 寫入到kafka 記憶體爆炸

場景:

使用flink sql讀取hive表資料寫入到kafka

hive表大約80個字段 500W資料

遇到問題:

記憶體爆炸,4G記憶體都不夠,這肯定不行。

flink 讀取hive表 寫入到kafka 記憶體爆炸

GC嚴重:

flink 讀取hive表 寫入到kafka 記憶體爆炸

解決方案:

總結:

目前不可用。

繼續閱讀