histore是阿裡中間件技術團隊研發的資料庫産品,是一款基于獨特的知識網格技術的列式資料庫,定位于海量資料高壓縮比列式存儲,是低存儲成本,低維護成本,海量資料olap存儲引擎;有效的解決了海量資料存儲的成本問題,以及在百億資料場景下支援實時高效的多元度自由組合的檢索。
<a></a>
• 存儲資料量大:tb級資料大小,百億條記錄。資料量存儲主要依賴自己提供的高速資料加載工具(2tb/小時)和高資料壓縮比(>10:1);
• 高壓縮比:平均壓縮比>10:1,遠高于正常壓縮算法,甚至可以達到40:1,極大地節省了資料存儲空間。高資料壓縮比主要依賴列式存儲和patent-pending的靈活壓縮算法;
• 基于列存儲:無需建索引,無需分區。即使資料量十分巨大,查詢速度也很快。用于資料倉庫。不需要建索引,就避免了維護索引及索引随着資料膨脹的問題。把每列資料分塊壓縮存放,每塊有知識網格節點記錄塊内的統計資訊,代替索引,加速搜尋;
• 大資料量查詢性能強勁、穩定:億級記錄數條件下,同等的select查詢語句,速度比myisam、innodb等普通的mysql存儲引擎快30倍。高效查詢主要依賴特殊設計的存儲結構對查詢的優化,但這裡優化的效果還取決于資料庫結構和查詢語句的設計;
• 并行導入:基于mysql的協定的并行導入,以及專門的入庫工具;
• 高并發:實時性的多元資料檢索;實時資料導入,海量資料秒級檢索;為實時業務提供保障;
• 線性擴充:結合tddl / drds,可實作存儲容量和處理能力的線性提升;
• 系統易用:遷移成本低,無其它依賴獨立部署,mysql工具及應用可直接無縫運作其上;
• 快速響應複雜的聚合類查詢:适合複雜的分析性的sql查詢,如sum,count,avg,group by;
• 節約設計開銷,沒有複雜的資料倉庫模型設計要求(比如星狀模型、雪花模型),無需要物化視圖、資料分區、索引建立;
• 節省存儲資源,高壓縮比率通常是10:1,某些應用可能達到40:1;
• 內建利用廣泛,和衆多的bi套件相容,比如pentaho的,cognos公司,jaspersof;
• 降低運維成本,随着資料庫的逐漸增大,查詢和裝載性能持續保持穩定,實施和管理簡單,需要極少的管理;
• 分庫分表支援,結合tddl/drds,可實作無縫的橫向擴充功能和處理能力的線性提升;
• 日志/事件管理系統:調用鍊路日志跟蹤,消息軌迹分析,系統/網絡安全審計記錄;
• 通信行業:話單分析,使用者行為分析等;
• 大資料量的分析應用:網頁/線上分析,移動分析,客戶行為分析,營銷和廣告資料;
• 資料倉庫/資料集市:實時展示統計分析後資料,便于使用者根據統計結果做決策;
• 對資料存儲成本敏感,查詢有實時性要求的場景應考慮histore;
• 物聯網:儲存大量實體節點的采集上報,狀态等資訊,用于後期統計處理;
• 曆史評價資料,曆史訂單資料等;
histore的核心技術之一,histore在執行查詢的時候會根據知識網絡(知識網格)把dn分成三類:
• 相關的dn(相關節點),滿足查詢條件限制的dn
• 不相關的dn(無關節點),不滿足查詢條件限制的dn
• 可疑的dn(可疑節點),dn裡面的資料部分滿足查詢條件的限制
no.
column
type
desc
1
seller_id
bigint
賣家id
2
feed_id
主評id
3
feedback
varchar(4000)
主評内容
4
gmt_modify
datetime
修改時間
infobright
infinidb
pivotal greenplum
amazon redshift
teradata db
hp vertica
sap hana
ibm netezza
神舟通用,kstore
華為高斯db
達夢資料庫dm7