OneModel體系能給資料中台的建設帶來什麼？

作者：柯根 更多内容詳見資料中台官網 https://dp.alibaba.com

重要地位

造成企業大資料建設的痛點原因，概括起來就是“煙囪式”開發造成資料不标準、不規範。是以資料中台建設的切入點需要以“資料公共層建設”消除因“煙囪式”開發給業務帶來的困擾和造成的技術上的浪費。而OneModel方法論則是打開局面和推動資料中台建設的關鍵。

核心能力

• 規範定義

  在業界中常用資料字典文檔的方式維護标準規範定義，但是往往“計劃很豐滿，現實很骨感”，文檔在項目實際實踐過程中，很難保證及時維護，到最後往往變成無人問津的“空中樓閣”；并且文檔與開發嚴重脫節，到最後形成“上有政策，下遊對策”的混亂局面。

就算資料字典能及時維護并嚴格遵守，它也隻能短暫緩解業務痛點，但隻是治标，對技術痛點幾乎無用。是以，必須從源頭出發，找到可以同時解決業務痛點和技術痛點的方法，而全局規劃和資料規範定義就是治本的方法。

OneModel方法論保障了資料唯一性的資料域、業務過程，以及在資料域、業務過程之下的名額、實體屬性等的結構性封裝、命名和定義。

資料規範定義是在開發之前，以業務的視角進行資料的統一和标準定義，確定計算口徑一緻、算法一緻、命名一緻，後續的資料模型設計和ETL開發都是在此基礎上進行的。主要基于以下幾部分内容：

1. 基于對業務和資料的了解，對資料進行基于業務本身但超越和脫離業務需求限制的抽象。主要的抽象不随着業務團隊的組織架構變動而變動，即抽象出業務闆塊、資料域、業務過程、次元。
2. 基于以上抽象出的業務過程和次元，進一步定義原子名額、業務限定、計算周期、計算粒度。
3. 基于定義的原子名額、業務限定、計算周期、計算粒度，可結構化定義出派生名額，并繼承原子名額的資料類型、算法，并形成标準化的派生名額名稱定義。
4. 通過資料中台不斷的疊代優化，積累大量統一、标準的名額。

• 模型設計

  在資料模型設計中，OneModel方法論保障模型複用和穩定的資料基礎層、資料中間層、資料應用層分層架構設計，以及各層模型設計的核心原則。

資料模型設計在資料規範定義的基礎上，從業務應用或者需求來源端控制了資料模型設計的重要輸入源頭。其次，對資料模型嚴格分層，在統一資料公共層的同時允許資料應用層百花齊放。第三，從業務和技術雙視角下，嚴格要求資料模型設計滿足“高内聚、低耦合”的标準。

• 資料開發

  在ETL開發中，開發過程遵循标準有效的開發規範，并将以往ETL開發人員所積累的經驗做沉澱。

工具沉澱

僅僅有方法論是遠遠不夠的，很多企業不乏擁有業界通用方法論以及成型的資料模型。但往往發現若沒有産品做支撐，方法論落地存在很大的困難。需要有足夠多模組化經驗豐富的模型架構師、經驗豐富的資料研發工程師，以及要在企業内部對方法論達成絕對的一緻。這對于有一定規模的企業來說都是很難實作的。

是以阿裡巴巴雲上資料中台團隊基于多年在集團内部的實戰經驗，将OneModel方法論沉澱到資料中台産品Dataphin中。

Dataphin通過OneModel方法論為指導，沉澱出一站式的規範、工具型資料産品，産品主要包括以下幾部分：規範化資料模組化，特别關注資料規範定義、資料模型設計和ETL開發等全流程；落地和承載規範化資料模組化的規範化研發工具；規範化模組化産生的所有分層資料模型；所有資料在面對應用時都會被監控和排程，且對上線、下線調優監控會回報到規範化資料模組化中。

将原先割裂的資料規範定義、資料模型設計、ETL開發連接配接在一期，實作“設計即開發，所建即所得”。将資料規範定義從工具層面的資料命名+結構化抽象定義合二為一，并與資料模型設計連接配接，進而直接支撐ETL開發。當資料規範定義完成之後，每一個名額都可以根據結構化命名規則和計算邏輯快速映射到對應的實體表中。

隻要某個名額能夠被規範定義，針對該名額的代碼即可自動化生成，而一系列經過規範定義的名額則會根據相同計算粒度，聚集到若幹實體表或邏輯表中，這樣形成的實體表或邏輯表，其全部代碼和自動化生成。對于中間生成過程不必關心，因為這是系統内部的智能黑盒要以智能化的方式來解決的。并且智能黑盒不僅實作代碼自動化生成，還關心優化生成代碼及其任務排程所對應的計算邏輯。

下圖為Dataphin通過基于邏輯模型的資料規範定義、智能設計及智能研發（黑盒實作代碼自動化及任務優化）、基于邏輯模型的主題式查詢等特性，帶來全新、高效、标準的一體化設計及開發的資料中台建構和使用模式。

結語：

阿裡巴巴資料中台團隊，緻力于輸出阿裡雲資料智能的最佳實踐，助力每個企業建設自己的資料中台，進而共同實作新時代下的智能商業！

阿裡巴巴資料中台解決方案，核心産品：

Dataphin，以阿裡巴巴大資料核心方法論OneData為核心驅動，提供一站式資料建構與管理能力；

Quick BI，集阿裡巴巴資料分析經驗沉澱，提供一站式資料分析與展現能力；

Quick Audience，集阿裡巴巴消費者洞察及營銷經驗，提供一站式人群圈選、洞察及營銷投放能力，連接配接阿裡巴巴商業，實作使用者增長。

歡迎志同道合者一起成長！更多内容詳見資料中台官網