連載：阿裡巴巴大資料實踐—資料服務

前言：

-更多關于數智化轉型、資料中台内容請加入

阿裡雲資料中台交流群—數智俱樂部 和關注官方微信公總号（文末掃描二維碼或 點此加入 ）

-阿裡雲資料中台官網 https://dp.alibaba.com/index

來源：數智化轉型俱樂部

資料部門産出的海量資料，如何能友善高效地開放出去，是我們一直想要解決的難題。在沒有資料服務的年代，資料開放的方式簡單、粗暴，一般是直接将資料導出給對方。這種方式不僅低效，還帶來了安全隐患等諸多問題。

為此，我們在資料服務這個方向上不斷探索和實踐。最早的資料服務雛形誕生于2010年，至今已有7個年頭。在這期間，随着我們對業務的了解不斷加深，同時也得益于新技術的持續湧現，對資料服務架構也進行了多次更新改造。服務架構的每次更新，均在性能、穩定性、擴充性等方面有所提升，進而能更好地服務于使用者。

1．服務架構的演進

阿裡資料服務架構演進過程如圖6.1所示。基于性能、擴充性和穩定性等方面的要求，我們不斷更新資料服務的架構，依次經曆了内部代号為DWSOA、OpenAPI、SmartDQ和OneService的四個階段。

阿裡資料服務架構演進過程

其中，第四個階段是統一的資料服務層（即OneService）。大家心裡可能會有疑問：SQL并不能解決複雜的業務邏輯啊。确實，SmartDQ其實隻滿足了簡單的查詢服務需求。我們遇到的場景還有這麼幾類：個性化的垂直業務場景、實時資料推送服務、定時任務服務。是以OneService主要是提供多種服務類型來滿足使用者需求，分别是OneService-SmartDQ、OneService-Lego、OneService-iPush、OneService-uTiming。

在OneService階段，開始真正走向平台化。我們提供資料服務的核心引擎、開發配置平台以及門戶網站。資料生産者将資料入庫之後，服務提供者可以根據标準規範快速建立服務、釋出服務、監控服務、下線服務，服務調用者可以在門戶網站中快速檢索服務，申請權限和調用服務。

2．技術架構

• SmartDQ

  

SmartDQ的中繼資料模型架構示意圖

SmartDQ的中繼資料模型，簡單來說，就是邏輯表到實體表的映射。自底向上分别是：

（1）資料源：SmartDQ支援跨資料源查詢，底層支援接入多種資料源，比如MySQL、HBase、OpenSearch等。

（2）實體表：實體表是具體某個資料源中的一張表。每張實體表都需要指明主鍵由哪些列組成，主鍵确定後即可得知該表的統計粒度。

（3）邏輯表：邏輯表可以了解為資料庫中的視圖，是一張虛拟表，也可以看作是由若幹主鍵相同的實體表構成的大寬表。SmartDQ對使用者展現的隻是邏輯表，進而屏蔽了底層實體表的存儲細節。

（4）主題：邏輯表一般會挂載在某個主題下，以便進行管理與查找。

• iPush

  

iPush應用架構示意圖

iPush應用産品是一個面向TT、MetaQ等不同消息源，通過定制過濾規則，向Web、無線等終端推送消息的中間件平台。iPush核心伺服器端基于高性能異步事件驅動模型的網絡通信架構Netty 4實作，結合使用Guava緩存實作本地注冊資訊的存儲，Filter與Server之間的通信采用Thrift異步調用高效服務實作，消息基于Disruptor高性能的異步處理架構（可以認為是最快的消息架構）的消息隊列，在伺服器運作中Zookeeper實時監控伺服器狀态，以及通過Diamond作為統一的控制觸發中心。

• Lego

Lego被設計成一個面向中度和高度定制化資料查詢需求、支援插件機制的服務容器。它本身隻提供日志、服務注冊、Diamond配置監聽、鑒權、資料源管理等一系列基礎設施，具體的資料服務則由服務插件提供。基于Lego的插件架構可以快速實作個性化需求并釋出上線。

Lego采用輕量級的Node.JS技術棧實作，适合處理高并發、低延遲的IO密集型場景，目前主要支撐使用者識别發碼、使用者識别、使用者畫像、人群透視和人群圈選等線上服務。底層根據需求特點分别選用Tair、HBase、ADS存儲資料。

uTiming

uTiming是基于在雲端的任務排程應用，提供批量資料處理服務。uTiming-scheduler負責排程執行SQL或特定配置的離線任務，但并不直接對使用者暴露任務排程接口。使用者使用資料超市工具或Lego API建立任務。注：本書中出現的部分專有名詞、專業術語、産品名稱、軟體項目名稱、工具名稱等，是淘寶（中國）軟體有限公司内部項目的慣用詞語，如與第三方名稱雷同，實屬巧合。

節選自《大資料之路：阿裡巴巴大資料實踐》已受版權保護，未經授權不得轉載

連載：阿裡巴巴大資料實踐—資料開發平台>> 連載：阿裡巴巴大資料實踐—實時技術>> 連載：阿裡巴巴大資料實踐—資料服務>>

資料中台是企業數智化的新基建，阿裡巴巴認為資料中台是集方法論、工具、組織于一體的，“快”、“準”、“全”、“統”、“通”的智能大資料體系。目前正通過阿裡雲資料中台解決方案對外輸出，包括

零售

、

金融 網際網路 政務

等領域，其中核心産品有：

• Dataphin，一站式、智能化的資料建構及管理平台 ；
• Quick BI，随時随地 智能決策
• Quick Audience，全方位洞察、全域營銷、智能增長
• Quick A+， 跨多端全域應用體驗分析及洞察的一站式資料化營運平台

官方站點：

資料中台官網

https://dp.alibaba.com