雲HBase活動福利
【雲HBase産品介紹】
更多活動内容請 參考連結
背景
阿裡巴巴集團内為淘寶、支付寶、菜鳥提供訂單、賬單、物流單的曆史庫最佳實踐方案，幫助您解決曆史庫的成本和擴充性問題，提供可視化的曆史庫鍊路搭建，支援水準擴充，極低的存儲成本和豐富的線上查詢能力。
在移動網際網路高度發達的今天,每天都會有大量的業務資料産生,随着時間的積累和業務的發展資料量成指數級增長,同時曆史資料的通路頻率随着時間的推移卻越來越低。這些資料全部存儲在關系型資料庫中會帶來了一系列的問題。
挑戰:
- 存儲成本的升高,存儲成本和資料量成正比,資料量指數級增長帶來了存儲成本的指數級增加。
- 查詢性能的下降,單執行個體存儲空間超過TB以後查詢性能将會急劇下滑。
- 運維複雜度高,通過分庫分表的方式來解決資料量增加造成性能下降,給運維和業務開發增加了巨大的成本。
需求:
- 存儲成本可控，曆史資料的存儲成本是線上資料的10分之一。
- 能夠彈性的伸縮, 計算和存儲能力自動水準擴充，不再依賴分庫分表解決運維難的痛點。
- 修改schema成本低, 支援快速修改schema或者動态schema,解決曆史庫schema變更時間長的問題。
- 改造成本低, 可以支援SQL進行通路。
- 滿足實時查詢需求，例如消費賬單、聊天記錄等場景曆史資料的查詢RT要能夠和線上資料的查詢RT接近。
- 能夠滿足資料分析需求,曆史資料通路頻度低,但是在某些業務場景下需要對全量資料進行挖掘分析,比如支付寶年賬單。
解決方案架構圖
- LTS資料同步服務對接MySQL等關系行資料庫支援資料的全增量一體化同步,同時提供多表遷移、資料變化、DDL感覺等企業級同步能力,幫助使用者簡單高效完成資料的遷移;
- 雲原生多模資料庫Lindorm提供海量資料的低成本存儲能力(0.11元/GB/月)、彈性伸縮按需付費、多模多端處理能力滿足使用者多種場景下的資料存儲需求,同時可以無縫對接spark、hive、flink、presto等開源分析生态滿足使用者對資料的複雜分析需求,最大程度挖掘資料價值;
方案優勢
簡單易用
- 資料搬遷配置可視化,分鐘級完成遷移配置。
- 全增量一體化,最大程度降低使用者使用成本。
- 支援多表遷移、資料變換等能力幫助使用者輕松完成多表合并、字段組合變化等需求。
- 全面的監控報警,保證資料同步穩定性。
極緻成本效益
- 支援容量型存儲成本底至0.11元/GB/月,在極緻優化存儲成本的同時通過系統内置緩沖加速層,讓查詢實時性仍有較大的保障,是實時曆史庫的最佳存儲選擇。
- 在性能上，Lindorm寬表引擎在吞吐延遲(參考連結)上做了非常多的突破，其基準性能是開源HBase的7倍(參考報告)；Lindorm時序引擎融入了許多創新型的高性能結構設計，其基準性能在目前的信通院榜單中處于第一的位置，大幅領先于其他專用時序資料庫。
- 支援智能冷熱分離，針對資料随着時間線逐漸熱變冷的場景，典型如監控、社交聊天、交易賬單等，Lindorm内部将自動識别資料的冷熱，并進行分離存儲到高性能媒體和低成本媒體(兩者之間的單價成本差可高達10:1)，而使用者讀寫通路保持完全透明，并且熱資料的通路性能還能有所加速。
- 支援自适應壓縮，針對資料的不同類型和特點，系統将自動選擇混合的字典、字首、Delta、熵編碼等壓縮算法，相比業界通用算法，整體壓縮率提升10%~30%。
雲原生彈性
- Lindorm基于存儲計算分離的架構，支援計算資源、存儲資源的獨立彈性伸縮,最大程度避免資源浪費;
- 同時提供Serverless服務，實作按需即時彈性、按使用量付費的能力。Lindorm Serverless基于多租戶隔離、智能排程、彈性IaaS底座建構，具備企業級SLA保障，滿足内部大部分業務的可用性要求，進而讓一線同學大幅降低容量管理的運維負擔，消除因流量波動導緻的穩定性風險。
多模&檢索
- 相容HBase、Phoenix(SQL)、Cassandra(CQL)等主流開源标準接口,最大程度降低使用者改造成本;同時具備全局二級索引、多元檢索、動态列、TTL等能力, 滿足中繼資料、訂單、賬單、畫像、社交、feed流、日志等多種場景需求。
- 支援一鍵開啟搜尋引擎(相容開源Solr标準接口), 具備全文檢索、聚合計算、複雜多元查詢等能力，幫助加速檢索查詢，滿足使用者實時複雜分析需求。
大資料生态
- 無縫對接Spark、Hive、Flink、Presto等開源大資料生态産品,支援API通路和檔案讀取等多種對接方式,簡單高效滿足使用者海量資料分析需求。
适用客戶：
使用MySQL存儲訂單、賬單資料總量超過數千萬行，MySQL性能開始出現下降，存儲成本持續攀升。
資料需要長期或者永久保留并提供查詢
典型場景
- 使用者交易記錄通過APP寫入MySQL,LTS将MySQL中實時同步到Lindorm,近三個月狀态不斷變化的記錄查詢MySQL,三個月以上曆史交易記錄查詢Lindorm,曆史交易記錄存儲在容量型存儲中,存儲成本下降90%以上。
- 對于使用者複雜條件實時檢索需求,例如按時間、地點、金額大小、交易備注内容等任意組合查詢,可以結合Lindorm搜尋引擎的全文檢索、聚合計算、複雜多元查詢等能力,不需要業務改造就能輕松滿足使用者需求。
- 通過LTS支援将Lindorm賬單資料同步到Spark/MapCompuct等離線計算平台進行計算按照業務需求分析生成營運報表資料,然後回流到Lindorm供使用者進行實時查詢。
使用說明
•
RDS全增量同步 存的起，看得見—雲原生多模資料庫Lindorm技術解析