天天看点

Kafka压力测试

使用用Kafka自带的脚本进行压力测试。

测试平台:CDH6.2,Kafka2.1

Kafka压测可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO),一般都是网络IO达到瓶颈。

record-size 单条信息大小,字节单位。

num-records 总共发送多少条信息。

throughput 每秒多少条信息。

Kafka压力测试

说明:

一共写入10w条消息,平均1000条消息/秒,每秒向Kafka写入了0.95MB的数据,写入的平均延迟为0.67毫秒,最大的延迟为126毫秒。后三个参数,1毫秒内的数据占比50,95,99,21毫秒内数据占比99.9。

--broker-list broker节点列表

--fetch-size 每次fetch的数据的大小

--messages 共消费的消息数

Kafka压力测试

2019-09-03 18:13:39:170, 2019-09-03 18:13:54:719, 169.0878, 10.8745, 224906, 14464.3385, 3177, 12372, 13.6670, 18178.6292

开始测试时间,测试结束时间,总消费169.0878MB,平均每秒消费10.8745MB/s,总消费224906条,平均每秒消费14464.3385条,负载3177毫秒,fetch消耗12372毫秒,fetch数据13.6670MB/s,fetch18178.6292条/s。