天天看點

【Flink】Flink 寫入 Clickhouse 大對象直接進入老年代 導緻OOM1.概述

本文為部落客九師兄(QQ:541711153 歡迎來探讨技術)原創文章,未經允許部落客不允許轉載。

文章目錄

  • 1.概述
  • 2. 驗證
  • 3.轉機
【Flink】Flink 寫入 Clickhouse 大對象直接進入老年代 導緻OOM1.概述

1.概述

事情是這樣的。使用開源的修改 https://github.com/ivi-ru/flink-clickhouse-sink flink http方式寫入Clickhouse.

開始資料量小了沒問題,最後資料量大了就會頻繁OOM. 然後經過很長時間的排查

開始的現象是:【Flink】kafka Response from server for which there are no in-flight requests NETWORK_EXCEPTION

不是ck寫入失敗導緻的是以和最新的代碼沒有什麼關系

  1. 網絡問題 您收到了 NETWORK_EXCEPTION,是以這應該告訴

繼續閱讀