天天看點

Kafka壓力測試

使用用Kafka自帶的腳本進行壓力測試。

測試平台:CDH6.2,Kafka2.1

Kafka壓測可以檢視到哪個地方出現了瓶頸(CPU,記憶體,網絡IO),一般都是網絡IO達到瓶頸。

record-size 單條資訊大小,位元組機關。

num-records 總共發送多少條資訊。

throughput 每秒多少條資訊。

Kafka壓力測試

說明:

一共寫入10w條消息,平均1000條消息/秒,每秒向Kafka寫入了0.95MB的資料,寫入的平均延遲為0.67毫秒,最大的延遲為126毫秒。後三個參數,1毫秒内的資料占比50,95,99,21毫秒内資料占比99.9。

--broker-list broker節點清單

--fetch-size 每次fetch的資料的大小

--messages 共消費的消息數

Kafka壓力測試

2019-09-03 18:13:39:170, 2019-09-03 18:13:54:719, 169.0878, 10.8745, 224906, 14464.3385, 3177, 12372, 13.6670, 18178.6292

開始測試時間,測試結束時間,總消費169.0878MB,平均每秒消費10.8745MB/s,總消費224906條,平均每秒消費14464.3385條,負載3177毫秒,fetch消耗12372毫秒,fetch資料13.6670MB/s,fetch18178.6292條/s。