天天看點

Kafka系列之:深入了解Kafka叢集調優一、Kafka硬體配置選擇二、Kafka記憶體選擇

Kafka系列之:深入了解Kafka叢集調優

  • 一、Kafka硬體配置選擇
  • 二、Kafka記憶體選擇
  • 三、CPU選擇
  • 四、網絡選擇
  • 五、生産者調優
  • 六、broker調優
  • 七、消費者調優
  • 八、Kafka總體調優

一、Kafka硬體配置選擇

伺服器台數選擇:

  • 2 * (生産者峰值生産速率 * 副本數 / 100) + 1

磁盤選擇:

  • Kafka按照順序讀寫,機械硬碟和固态硬碟,順序讀寫速度差不多

二、Kafka記憶體選擇

  • Kafka記憶體 = 堆記憶體(kafka内部配置) + 頁緩存(伺服器記憶體)
  • 堆記憶體10~15G
jstat -gc 23465 1s 10
 S0C    S1C    S0U    S1U      EC       EU        OC