Hbase库亿级大数据性能测试

测试环境配置信息

Ambari+HDP大数据平台，5个节点服务器

CPU配置：16核 Intel 2.20GHz

操作系统：CentOS7.7/Linux x86_64

HDFS空间：4TB

HDFS文件备份数：3节点

Hbase MASTER和REGIONSERVERS各一个

测试数据模型

模拟某酒店顾客信息表1个列族，33列字段，目标数据量1亿+

一、新增数据性能

单条数据插入，平均不到250条/秒，每1000条需要4秒多，平均每条耗时4毫秒

本地往服务器批量插入数据，平均在1000条/秒左右

服务器上测试批量插入数据，基数2004万条，新增100万耗时693秒，平均1443条/秒

基数2004万条，新增1000万耗时6887秒，平均1452条/秒

基数2004万条，新增8000万耗时15:21:24，合55284秒，平均1447条/秒

结论：

随着入库数据量的增长插入数据性能没有受影响，一直比较稳定。

二、查询数据性能

1亿+数据量的表

1、Java客户端查询

连续根据rowKey查4条记录，分别耗时5575毫秒、39毫秒、6毫秒、4毫秒，初次查询较慢，需要几秒时间，之后查询很快，都是毫秒级响应。

2、HBase shell查询

连续根据rowKey查3条记录，分别耗时137毫秒、29毫秒、31毫秒

连续根据rowKey查同一条记录，分别耗时31毫秒、27毫秒、17毫秒

3、scan性能

HBase shell根据rowKey范围scan扫描10条记录，耗时159毫秒

4、行键过滤性能

根据rowKey前缀进行过滤查询，1亿+数据中过滤出1条记录耗时1170秒，

一直等待很长时间，效率很差，可能全表扫描了，不建议使用

三、修改数据性能

连续根据rowKey修改3条记录，分别耗时31毫秒、5毫秒、7毫秒

四、删除数据性能

连续根据rowKey删除3条记录，分别耗时54毫秒、3毫秒、22毫秒

五、数据导入性能

1、Kettle导入

Kettle 从csv读取数据导入HBASE库，平均1800条/秒左右

2、ImportTsv命令导入

HBASE ImportTsv命令从Hdfs上的csv目录导入数据2004万条，耗时2小时22分32秒，合8552秒，平均2343条/秒

六、count统计性能

1、HBase shell count命令统计

200万数据统计count数，耗时 61秒

2004.1009万数据统计count数，耗时664秒

2、执行 hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'hotel_guest’命令统计

2004.1009万数据count数，耗时284秒

3、执行 hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'hotel_guest’命令统计

1亿+数据count数，耗时21分25秒，合1285秒

七、总结

Hbase库新增数据，以及根据RowKey修改、查询、删除数据性能较好，都是毫秒级响应，与MySQL小表操作基本相当，且性能不会像MySQL那样随着存入数据量增长而下降。

Hbase行键过滤性能较差，大数据量环境下不建议使用。

Hbase库数据批量导入性能与其他数据库相比没有优势，应该算比较低的。