天天看点

Hummer TimeSeries DB 技术特色简介

容量和性能相关特性:

  •      支持海量数据存储(分布式下可轻松应对百亿至万亿记录)
  •      支持高速数据写入(单节点可达10M条记录/秒,集群性能线性提升)
  •      支持高速检索(单节点每秒可扫描20M条记录/秒,集群性能线性提升)

架构相关特性:

  •      存储层使用 Share Nothing 架构 ,确保系统的高可扩展性。
  •      查询层使用 MPP 架构,确保系统的并行数据检索和计算性能。

数据访问接口相关 特性 :

  •      支持唯一KEY,或重复KEY
  •      给定谷时间区段快速删除
  •      支持 CURD (即支持增删改查)
  •      支持SQL(包含关联操作,即JOIN)
  •      JDBC/ODBC    
  •      支持数据强一致性
  •      支持时间乱序写入

数据表类型相关 特性 :

  •      支持时序表
  •      支持对象表

    数据存储相关 特性 :

  •      多元时序,支持多种数据类型(int,long,double,string,float,decimal等) 
  •      支持定长/不定长/可空字段
  •      支持多种排序格式PKT/KT/TK(具体见《Hummer时序数据模型》博文)
  •      支持压缩存储
  •      支持初级MVCC,即通过版本控制,保证查询开始后的数据集时不受当前写入数据影响。

Hadoop 相关 特性 :      与Hadoop 接口兼容,可支持:

  •      MR接口 
  •      Pig接口
  •      Hive接口 

操作性相关 特性:

  •       多租户设计: 可作为数据平台供多租户同时使用
  •       高可扩展性: hummer 系统即可单机部署,也可部署到百台规模的PC 服务器集群中。 因此可轻松应对百亿、千亿条规模的时序记录表。
  •       高可用性    :99.999%。
  •       高可靠性    :可靠性为99.99999999996%。

其他相关特性:

  •      恒时检索特性 :恒时体现数据检索速度不随数据总量而变,只与“命中(touched data)”的数据量相关。
  •      节约空间 : Hummer系统存储时序数据相比传统数据库更节约空间。其主要原因如下
    •         数据压缩存储 :蜂鸟支持面向行和列的压缩,数据压缩比可达到3 – 20 (具体压缩比和数据内容密切相关)
    •         无需额外索引 :蜂鸟避免了像传统数据库那样,在时间列和事件id上建立b树索引,而是将“时间”和“事件ID/Key”撮合为组合KEY,借助LSM树维护有序记录,这种“前缀”索引结构以来不但便于时序处理,而且无需额外索引文件,节约了大量存储空间。相对于多数传统数据库,Hummer时序数据库至少能节约3-4倍以上的存储空间

Hummer TimeSeries DB Dock DEMO 介绍文章和下载见  http://blog.csdn.net/kanghua/article/details/44653149

继续阅读