使用用Kafka自带的脚本进行压力测试。
测试平台:CDH6.2,Kafka2.1
Kafka压测可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO),一般都是网络IO达到瓶颈。
record-size 单条信息大小,字节单位。
num-records 总共发送多少条信息。
throughput 每秒多少条信息。

说明:
一共写入10w条消息,平均1000条消息/秒,每秒向Kafka写入了0.95MB的数据,写入的平均延迟为0.67毫秒,最大的延迟为126毫秒。后三个参数,1毫秒内的数据占比50,95,99,21毫秒内数据占比99.9。
--broker-list broker节点列表
--fetch-size 每次fetch的数据的大小
--messages 共消费的消息数
2019-09-03 18:13:39:170, 2019-09-03 18:13:54:719, 169.0878, 10.8745, 224906, 14464.3385, 3177, 12372, 13.6670, 18178.6292
开始测试时间,测试结束时间,总消费169.0878MB,平均每秒消费10.8745MB/s,总消费224906条,平均每秒消费14464.3385条,负载3177毫秒,fetch消耗12372毫秒,fetch数据13.6670MB/s,fetch18178.6292条/s。