海量結構化資料解決方案-表格存儲場景解讀

資料是驅動業務創新的最核心的資産。不同類型的資料如非結構化資料（視訊、圖檔等）、結構化資料（訂單、軌迹），面向不同業務的使用要求需要選擇适合的存儲引擎，能夠真正發揮資料的價值。

比如：非結構化的資料-視訊圖檔等适合對象存儲OSS，強事務的結構化資料-交易訂單适合MySQL。

而針對于海量的非強事務的海量結構化/半結構資料：

這些場景特點是：

1. 資料規模大，常見的關系型資料庫難以存儲。

2.需要支援很高的讀寫吞吐與極低的響應延遲。

3. 資料結構相對簡單，無跨資料表的關聯查詢，資料存儲寫入是無需複雜的事務機制。

表格存儲Talestore 正是為了解決上述資料的存儲、通路以及計算。

曆史訂單場景

在電商、金融、外賣、新零售等所有涉及交易與協定的所有場景中，都涉及大量的訂單。記錄社會方方面面。傳統關系型資料能夠解決需要支援強一緻的事務的線上業務，但海量的訂單關系型資料無法儲存全量資料，需要資料分層。

架構核心需求：

• 線上資料同步：做實時資料與曆史資料分層—支援實時同步線上業務
• 曆史資料存儲：曆史訂單資料存儲—支援低延遲資料點查，搜尋。
• 高成本效益海量存儲資料分析：針對曆史庫進行報備統計分析—需支援計算元件分析統計!

  

核心優勢

• 彌補線上庫容量問題，降低線上庫壓力
• PB級曆史庫存儲，可全量儲存所有資料，并能提供低延遲高并發查詢
• 索引訂單内多字段，提供任意條件組合查詢

IM/Feed流場景

IM（Instant Messaging，即時通訊）成為目前網際網路業務基礎元件，在社交、遊戲、直播等場景廣泛需要。需要高效支援海量消息的存儲、同步、檢索。  

架構核心元件

• 消息曆史庫：按對話存儲曆史消息—需海量資料，存儲易拓展
• 消息同步庫：按接受者存儲同步消息—需支援高并發寫入，實時拉取（寫擴散）
• 消息索引：針對曆史庫資料支援資料檢索—需資料更新同步

  

• Tablestore Timeline 消息模型，專為 IM/Feeds 場景設計，簡化開發
• 同步表百 TB 存儲，存儲表 PB 級存儲。
• 分布式架構，LSM存儲引擎，支撐每秒百萬寫擴散消息寫入，毫秒級同步庫拉取
• 讀寫擴散混合同步模型

時序場景-監控/IOT

針對實時資料的記錄與分析極大的豐富了我們對于資料的使用場景。針對系統的運維監控、針對Iot場景中對于環境與人的監控都更有效幫助我們做事實了解與決策。這裡需要面臨衆多裝置與系統的高并發寫入與資料存儲，以及決策分析。

場景核心需求

• 資料高并發寫入：面向衆多裝置與系統支援百萬級節點實時寫入
• 資料實時聚合：針對原始資料監控預聚合，降低精度—支援資料實時同步對接流計算
• 資料存儲：長久儲存資料—需單表規模極大，高成本效益存儲

• 核心單表資料規模達 10 PB，可自定義資料生命周期
• 核心單表持續每秒寫入進 5000萬個資料點
• 資料實時寫入，大大提升資料可見時效性
• 毫秒級實時查詢展示趨勢圖和報表，查詢性能不受單表規模限制

輿情&風控分析

針對輿情資訊的分析與把控，可以有效的分析與洞察市場。比如針對點評、新聞、評論等資訊的收集分析。需要豐富的多類資料高并發寫入與便捷的資料流轉進行計算分析

• 原始資料寫入存儲：海量資料爬蟲需要高并發寫入能力與PB及存儲。
• 多資料類型存儲：爬取的内容與生成的标簽類似豐富需要寫入Schema-Free
• 資料分析：針對資料分階段處理原始資訊->結構化标簽->結果存儲—需要支援實時計算與離線計算對接

  

• 分布式 LSM 引擎資料存儲，提供高并發高吞吐寫入，PB 級資料存儲
• 通過資料更新捕獲，實時觸發後續對資料的自定義處理邏輯
• 與大資料平台實時資料同步，分析結果寫入結果表，供應用層實時查詢

推薦系統

推薦系統作為目前所有業務精細化營運的主要抓手，颠覆了傳統内容輸出方式，成為目前海量資訊時代流轉的核心引擎。廣泛在電商、短視訊、新聞等場景應用。需要高效支援海量消息存儲與實時、離線分析。 

• 行為日志：存儲用戶端寫入實時資料—需高并發寫入，支援對接流式計算實時分析
• 曆史資料：冷資料同步下沉至OSS資料湖—需支援資料投遞、便于資料分層
• 使用者标簽：針對分析标簽與推薦資訊存儲—需支援屬性列橫向拓展，高效檢索

• 資料規模：存儲量無上限，冷熱資料分層靈活定義
• 海量并發：單表寫入水準擴充，支援億行每秒級别
• 資料實時寫入，實時可見
• 資料實時投遞 OSS資料湖， Tablestore 隻存儲熱資料，提供豐富索引，高吞吐掃描

聯系我們

• 表格存儲産品詳情
• 開發工程師直接線上交流