雙11當天處理資料5PB！揭秘HiStore資料庫

阿裡巴巴電商業務中曆史資料存儲與查詢相關業務， 大量采用基于列存儲技術的HiStore資料庫，雙11當天HiStore引擎處理資料記錄超過6萬億條、原始存儲資料量超過5PB。從單日資料處理量上看，該系統已成為全球最大列存儲資料庫。

“曆史資料查詢和分析，資料倉庫和資料挖掘類系統，都是典型的查詢密集型業務，随着資料驅動模式在業務中的大量使用，這樣的需求會越來越多。”HiStore項目負責人葉建林表示，“剛剛過去的雙11全民購物狂歡節，包括天貓、淘寶和菜鳥網絡在内的阿裡巴巴核心業務平台，産生了大量的商品、使用者及物流資料，這些海量資料查詢和分析的主要特點是：資料實時插入和更新少；多元查詢和并發查詢量大。”

面對這樣的應用場景，傳統的行存儲資料庫産品一直不能很好地解決資料量大，多元查詢性能低等問題，阿裡巴巴自研分布式低成本分析型資料庫HiStore憑借高成本效益、高壓縮比、資料處理量大，以及獨特的列存儲技術特點，為對海量曆史資料存儲和查詢有強烈需求的客戶提供了功能完備的技術解決方案。

依托阿裡中間件（Aliware），面對世界級挑戰

HiStore全局功能子產品圖

“作為一款面向分析型應用領域的資料庫産品，HiStore架構設計充分滿足了海量資料查詢和分析需求，以列為基本存儲方式和資料運算對象，結合列資料壓縮處理、并行處理、Snapshot并發控制、智能索引等資料處理技術，在成本、查詢、統計、分析以及批量加載性能上具備突出的優勢。”葉建林介紹，HiStore的研發依托于阿裡中間件（Aliware）團隊，該團隊面對全球規模最大的阿裡電商平台所帶來的巨大流量和海量資料，以及電商平台固有的穩定性要求，去處理各種複雜業務場景，迎接世界級的技術挑戰。

OLAP場景HiStore性能突出

據了解，目前市場上列存儲資料庫産品也有不少，諸如SAP HANA、HP Vertica、Teradata DB等商業産品，還有InfiniDB，MonetDB、ClickHouse等開源項目。葉建林表示，HiStore雖是後來者，但産品功能十分豐富，支援高性能多元查詢，多核并發查詢，DML支援，alter table，臨時表支援，執行個體高可用，異構資料源導入，高速資料Load，壓縮算法和MVCC等多項特性。相比傳統的事務型關系資料庫，HiStore在OLAP場景下具有無可比拟的優勢：

1、 大幅降低硬體成本：依靠列存儲和透明壓縮技術，能有效對資料進行壓縮； 正常場景下平均壓縮比>10:1，遠高于正常壓縮算法，部分場景壓縮比甚至可達40:1，極大地節省了資料存儲空間；

2、 存儲資料量大：依靠高速資料加載工具（2TB/小時）和高壓縮比（>10:1）資料處理技術，可實作TB級資料大小，百億條記錄的存儲解決方案；

3、 支援高并發和實時多元度查詢：比如支援任意列組合的多元ad-hoc查詢，實作海量資料下秒級檢索能力；

4、 符合MySQL技術生态的标準，完全相容MySQL文法和通訊協定，無縫支援絕大部分MySQL生态圈的工具和應用；

5、 線性擴充：結合TDDL/DRDS，可實作存儲容量和處理能力的線性提升；

6、 在海量曆史資料存儲與查詢等業務場景下, 和業界競品相比，HiStore的查詢性能和存儲成本效益優勢明顯：億級别資料場景下，查詢性能相當的情況下存儲成本僅為infinidb的1/3，單機資料加載速度是infinidb兩倍。

高壓縮比+列存儲，鷹眼系統硬體成本降低90%

作為列存儲資料庫，高效的壓縮算法是其降低整體成本的利器，葉建林表示，阿裡内部最重要的曆史資料存儲和查詢系統-- EagleEye（鷹眼），之前日處理記錄數萬億條，日産生資料數百TB，采用HiStore後，利用其高速寫入和高壓縮比能力，叢集機器規模縮減90%，壓縮比例達到20：1，成本得到大幅削減。此外，集團安全部風險控制中心的資料存儲，采用HiStore後平均壓縮比10:1，并可提供毫秒級多元度聚合分析查詢。

實時多元查詢，人社上雲查詢性能優秀

支援實時多元度查詢是HiStore的另一個重要優勢。從2016年2月起，人社部資訊中心組織核心廠商共同研發人社部LEAF6雲應用平台。據葉建林介紹，在阿裡雲提供的人社上雲測試方案中，HiStore協助完成上雲之後幾百個資料分庫的建立、資料導入，資料同步等各種複雜配置及性能調優（分庫分表、小表廣播、異構索引等）。在5000萬社保人口，大概800億條記錄，單表記錄330億條的資料背景下，測試查詢以線上分組統計，多表join為主，HiStore性能表現優秀。

針對不斷增長的海量資料存儲和查詢需求及更苛刻的業務場景，作為阿裡中間件（Aliware）其中一員的HiStore也面臨諸多挑戰，未來将持續深挖高性能，高成本效益，高可用的三高優勢，依托阿裡集團内外廣泛的業務場景不斷打磨提升産品品質； 同時産品服務化體系也會不斷完善，推出人性化管控平台，打造企業級網際網路産品。