天天看點

資料中台的技術架構和方法論

作者:優享智慧方案

來源網絡,旨在交流學習,如有侵權,聯系速删, 更多參考公衆号:優享智庫

資料中台的核心職責是高效地賦能資料前台為業務提供價值。要想了解資料中台先要了解資料前台,上文說到的搜尋、推薦、BI 報表、資料大屏等都屬于資料前台。我們來看下面網易嚴選資料體系的圖就更清楚資料中台的定位了。

資料中台的技術架構和方法論

資料中台的下層是資料平台,資料平台主要解決跟業務無關的問題,主要是大資料的存儲和計算問題。資料中台的上層就是資料前台,主要包括 BI 報表、資料産品和業務系統。資料中台首先賦能分析師通過 BI 報表的形式來驅動業務精細化營運。如下圖所示,基于數倉裡已經半加工好的資料,分析師使用嚴選有數靈活 BI 平台可以快速的根據業務需求進行資料可視化和資料分析。嚴選有數現在每周的 UV 超過 800,每天報表浏覽次數超過 12w,目前的圖示數超過 7W。對于一個事業部級的 BI 平台,應該算是一個非常好的成績。這裡特别感謝下我們的分析師團隊,她們的辛勤工作才會有這樣的成績。

資料中台的技術架構和方法論

資料中台還會賦能業務系統開發通過統一查詢服務 (主要是統一查詢服務和标簽服務) 來輔助業務過程中的決策。基于數倉裡面加工好的資料模型,業務系統開發人員使用統一查詢服務擷取到的模型資料在業務系統中增加輔助決策功能。比如供應商系統需要對供應商進行評級,供應商評級需要供應商的商品銷售資料、評論資料、退貨資料、品質資料,供應商采購的交期資料等等。數倉會根據這些資料加工模型,供應商系統可以通過統一查詢擷取模型在供應商系統中使用。在嚴選,統一查詢服務已經接入了 67 個應用、670 個模型、每天有 300w 的調用。

資料中台的技術架構和方法論

我們自己做的資料産品(如下圖所示),基本會用到我們資料中台所有的能力支援,包括統一查詢服務、标簽服務、名額監控服務、資料産出服務等資料服務,也會使用嚴選有數建立 BI 報表挂載到資料産品中。

資料中台的技術架構和方法論

資料中台包含什麼?

從上文的圖中,我們已經初步了解了資料中台包含了哪些系統和服務。概括來說,資料中台包含數倉體系、資料服務集和 BI 平台。

數倉體系

數倉體系是資料中台的核心,資料是新能源,是生産資料。數倉體系包含數倉和一系列的管理系統,用來管理資料,保證資料的完整、一緻和準确。數倉體系的構成和關系,如下圖所示。數倉是數倉體系的核心,也是整個中台的核心。數倉的開發和存儲,主要依賴網易猛犸資料平台 (希望詳細了解的,可以搜尋網易猛犸)。

資料中台的技術架構和方法論

數倉開發本身要解決的核心問題是品質和效率 (所有開發也都需要解決),無論是品質和效率都需要好的架構設計。北鬥 - 數倉設計管理系統就是來完成數倉設計。數倉的開發原本總是非常的經驗化,很多知識都是存在資料開發的腦子裡。我們通過北鬥 - 數倉設計管理系統來推行數倉先設計再開發,通過北鬥 - 數倉設計管理系統将數倉開發的經驗知識化、标準化、工具化。資料品質中心 (如下圖所示) 提供全鍊路的資料保障體系,提供任務監控、資料監控、應用監控、影響範圍評估和恢複的支撐。

資料中台的技術架構和方法論

資料服務集

資料服務主要是資料場景下的解決方案的沉澱。資料服務集極大的加速了資料應用開發效率。核心的資料服務是統一查詢服務和标簽服務,提供名額模型和标簽模型對資料應用系統 (業務系統和資料産品) 的統一配送。統一查詢服務核心提供表轉接口和資料網關的功能。數倉管理的是資料模型表,通過統一查詢,資料應用系統就可以通過接口的形式來通路資料模型表。統一查詢服務是資料體系和資料應用系統之間的總網關,需要提供模型級限流、熔斷等網關功能。

資料中台的技術架構和方法論

BI 平台

BI 平台我們用的是嚴選有數,也就是在網易有數在嚴選的版本。網易有數是一款靈活 BI 平台,在設計上通過以終為始的設計理念和類 PPT 操作模式,在保障靈活性的基礎上,提供了極大的操作便利。想進一步了解的,可以搜尋網易有數。

資料中台的技術架構和方法論

在性能方面,我們結合資料産出服務做的基于資料産出的緩存政策極大地提升了報表的性能。圖表首訪緩存命中率基本穩定在 100%,整體緩存命中率超過 80%。

資料中台的内容非常長,本文非常概括的從嚴選實踐介紹了資料中台。總結一下:當企業需要資料化轉型、精細化營運,進而産生大規模資料應用需求的時候,就需要建設資料中台。資料中台是高品質、高效賦能資料前台的一系列資料系統和資料服務的組合。資料中台包含數倉體系、資料服務集和 BI 平台。

繼續閱讀