天天看點

阿裡資料中台進化史

2004年,張建鋒(行癫)加入阿裡巴巴。

當時阿裡巴巴還非常小,“我是淘寶網80号員工,負責阿裡巴巴的技術平台。”

那時的他估計也沒有想到,自己由此見證了整個網際網路特别是電子商務從無到有、從小到大到超級大的發展曆程;也見證了一個用PHP寫的非常小的系統,發展到今天一個超大規模的網際網路平台的整個過程。

他可能也不會想到,有一天阿裡巴巴會成立專門提供技術服務的阿裡雲公司,并且推出了很多影響業界發展的創新理念和技術。

中台就是其中之一。

在杭州舉行的2021阿裡雲金融資料智能峰會上,已是阿裡雲智能總裁的行癫,和9位高管共同回顧了阿裡巴巴資料中台的演變曆史。

阿裡資料中台進化史

阿裡雲智能總裁張建鋒(行癫)

01-不一樣的定位

行癫說,20年前,在阿裡做軟體開發,有兩個重要的工作,“畫資料流程圖,另一個就是畫業務流程圖。”

阿裡逐漸提出中台理念也與此息息相關。

提起中台,很多人可能都會想起一個段子。2015年,馬老師帶領一衆高管通路芬蘭遊戲公司Supercell,看到這家公司把公共通用的素材和算法做了沉澱,彙聚成平台,是以可以很快的開發出遊戲。在琢磨透這家機構的模式之後,阿裡很快啟動了“中台”戰略。

如今,中台理念已是業内共知,但是如果聽了行癫和阿裡高管們對中台,尤其資料中台的介紹之後,你會很容易得出一個結論,業内對于真正中台的認知還存在很大誤區。

其中首當其沖的是,對阿裡中台定位的認知不對。

據行癫介紹,在阿裡巴巴集團,中台不是一個重要的IT項目,也不是一個重要的應用系統。它擁有更高的定位,是整個集團資料管理、資料治理戰略的落地支撐,也是整個集團創新戰略的實施路徑,是一個完完全全的業務戰略。

是以,行癫認為,中台的價值也不僅僅提高業務效率,而是在四個方面發揮着重要價值,即資料治理、業務智能、組織提效和成本控制,是一個關乎整個集團的業務、組織、生态等發發展的、全局性的價值。

更進一步,中台是阿裡巴巴數字商業作業系統的核心支撐,也是阿裡雲為企業提供數字化轉型更新助力的重要組成部分。

是以,行癫在會上強調——阿裡雲推出中台,并不是賣産品賣概念,而是真正對外輸出阿裡10多年來發展的經驗。

02-10年前的分拆

對此,阿裡巴巴雲上資料中台負責人王賽有着深切的體會。

2009年,王賽加入阿裡巴巴,加盟B2B業務的資料倉庫團隊。“我們這個資料倉庫團隊做了兩年,從20多号人快速增長到100多号人。“

阿裡資料中台進化史

阿裡巴巴雲上資料中台負責人王賽

客觀上說,這是一個非常有實力的數倉團隊了。放眼當時的國内,也就是幾大行能有這樣的規模和實力。

但是,王賽說,這個團隊在2011年被拆分掉了,所有團隊成員被拆分到了1688等各個業務線的技術團隊之中。

為什麼要拆分?是因為阿裡發現,雖然數倉團隊做了大量工作,建構了大量分析報表,但這些工作隻是滿足了業務的臨時要求,沒有形成可持續、可預期、可靈活傳遞的工作機制。更進一步,業務方對資料服務的滿意度在急劇下降。

在這個時候,業務方提出要掌控資料分析技術團隊,以得到更加靈活高效的響應,進而跟上電商行業白熱化的競争需要。

技術是為業務服務的,既然業務有要求,那就按需求執行。

但拆分對于團隊的影響是非常大的。“我們到了業務部門,到底有哪些東西需要改善?面向阿裡巴巴集團,面向資料的未來,我們要走到哪裡?我們要做哪些事情?”

這些關鍵問題,王賽和整個團隊都沒有答案。他們走向了一個充滿不可知、不确定性的未來。這對于技術人員來說,接受這些是一個巨大的挑戰,也需要巨大的勇氣。

阿裡資料中台進化史

不過,再痛苦的過往,成功之後都會被賦予特别的意義。王賽在其《十年磨一劍:阿裡巴巴資料中台的破與立》的主題演講中,就将這次分拆其看成是阿裡資料中台建設的前奏——重新啟程。

正是這個拆分,才最終促使阿裡在資料治理、資料平台建設方向邁出了全新的步伐,也促進了中台的誕生。

03-從OneModel開始

據王賽介紹,數倉團隊在與業務部門深度綁定之後,2012年,阿裡技術團隊在對底層和大量的資料名額進行分析的過程中,抽象了一套方法體系,也即OneData體系。

當時,這套體系建立的初心是,在整個集團實作一套資料資産管理與建構的方法與體系,包括涉及資料各方面的标準和定義,統一所有資料的對接和計算口徑,并為業務提供統一的中繼資料、分析模型等。阿裡稱之為OneModel。

這是阿裡巴巴整個集團統一資料平台的關鍵一步,也是後來建設資料中台項目的重要基礎。它解決了整個集團資料口徑統一的問題。這使整個集團的幾十個BU有了統一的計算口徑。

不僅如此,OneModel還将系統所要維護的資料名額,從之前的幾萬個變成了幾千個名額,效率大大提高。

OneModel體系在1688事業部逐漸的實踐和摸索過程中,獲得了非常好的效果。王賽他們在資料效率問題得到解決完之後,也開始關注資料怎麼樣更好地服務業務。

非常有意思的是,當時整個團隊也沒有清晰的業務場景,不知道這些資料可以為業務提供什麼有價值的服務。“但是有一件事情我們深知,資料必須先要提供給業務去使用,并且不是僅僅給他們提供BI工具和報表分析。”

後來,他們發現,雖然不知道可以為業務提供什麼服務,但有一件事情是肯定要做的,即做一個API接口平台。

阿裡的系統繁多,需要有很多API和接口進行資料的互動,但過去做一個API和接口可能三四周才上線,很麻煩。“如果我們搭建一個平台和體系,讓資料服務的配置變得在一個星期内就可以完成和上線,并且還能夠保證品質和穩定性。這會讓業務部門的創新應用變得更加容易。”

由此,2013年,阿裡開始重點關注資料服務,并在這一年推出了OneService。它為業務部門提供了跨資料源的“一般查詢+OLAP分析+線上服務”等統一但多樣化的資料服務,還能提供各種主題式資料服務。

王賽認為,有了OneModel、OneService、OneID,他們初步建構了一套完整的資料體系——OneData,能夠比較好的服務于垂直業務BU。

在此基礎上,2014年,阿裡巴巴提出了更深層次的技術變革——平台統一計劃。其标志便是實作了統一資料平台、實作了資料服務化,并開始全面使用MaxCompute,作為資料中台的統一底座。(注:MaxCompute是阿裡雲自研的雲原生、高效能的SaaS模式企業級資料倉庫,2013年8月15日,阿裡雲MaxCompute曆史性地突破了同一個叢集内5000台伺服器同時計算的局限。當時阿裡雲内部有雲梯1、雲梯2兩個團隊競争研發,這個平台的進化史也很有意思。詳見另外報道。)

有意思的是,随着整個資料體系的完善,阿裡的資料服務也開始有了新的突破。據王賽介紹,他們研發了“生意參謀”這樣的資料産品,為阿裡巴巴電商平台上面的商家服務。通過“生意參謀”,可以商家們不需要做任何的技術開發,隻需要開通一個帳号,就能夠享受比過去資料倉庫、BI分析、報表工具等更好、更快、更全的資料分析和能力。

04

确立中台戰略

令王賽驚喜的是,此後阿裡資料服務的進化突然有了更高層級的飛躍。

2015年,阿裡巴巴集團宣布啟動“中台戰略”,并開始建構符合DT時代的、更靈活的“大中台,小前台”組織機制和業務機制。與此對應,阿裡正式啟動資料中台建設。

王賽回憶說,在當時啟動的時候,集團對中台也沒有一個明确的定義。“但是我們知道,阿裡巴巴集團多樣的業務,需要建起一個統一的平台,迅速支撐的業務變化與創新。”

他們意識到,不管中台怎麼定義,資料統一将是其中的關鍵。在前面OneModel、OneService的基礎上,阿裡在2016年推進了全域資料體系的建設。

通過全域資料,阿裡将收購的業務,如優酷、洋芋、UC浏覽器等,也用同樣的方法和體系将資料統一起來。有了統一的資料之後,阿裡同年啟動了資料萃取項目,深度挖掘這些資料資産的價值,并想方設法再回報、應用到業務之中。

随後的兩三年,阿裡巴巴資料中台進入攻堅和發展階段,開始把之前形成的一套方法論和體系要應用到更大規模的業務之中。

可以說,也正是這兩年,形成了阿裡資料中台的雛形。

2017年之後,阿裡開始了資料中台不斷疊代和更新的過程。期間,他們對OneModel進行了大的更新,推出了Dataphin資料管理平台,其核心價值在于資料規範定義,完全消除資料的二義性,保證業務資料标準化、規範化生産。有了它,面向雲上客戶,面向内部客戶,都能夠更好的自動化實作資料中台的方法論和體系。

另一方面,面向業務側,王賽又帶領團隊推出了政策中心、雲上資料中台等新的産品和服務,豐富了阿裡資料中台的體系。

現在,阿裡每個營運小二都可以基于資料制定覆寫使用者生命周期的資料化營運政策,支援更多的業務走向實時化、資料化。

王賽認為,到了2019年,阿裡資料中台已基本成熟。

05

實踐出來的中台方法論

但阿裡的中台進化并沒有結束。

過去十年的發展演化,阿裡不僅對中台産品技術上的有創新進展,對于中台建設的方法論更是有值得借鑒之處。

無論是對于甲方還是乙方,這或許都比産品技術本身更有價值。

行癫說,阿裡巴巴資料治理方法論有三個統一,即技術統一、資料統一、文化統一。

技術統一是指整個集團的平台建設要從分散到統一,從技術架構上要實作從煙囪式架構轉向分布式架構,最終實作共享式架構;

資料統一是指資料管理要實作資料從資源到資産的轉變,拉通資料标準、權限、口徑,以實作全業務、全組織的共享;

文化統一是指确立中台戰略,實作“大中台、小前台”,確定自上而下的戰略認同,以及支撐組織架構變革。

王賽也嘗試總結了阿裡中台建設的方法論。這可能是迄今為止最為本質、最為重要、最為全面的中台方法論架構。

這個方法論基本包括中台建設的六大核心問題,即資料品質與安全、資料價值、産品/工具沉澱、成本管控、組織與營運、度量與考核。

資料品質與安全的核心是,如何保障幾十個BU的統一計算口徑,以及這些資料能夠安全流通?資料價值的核心是,如何讓資料成為業務環節的關鍵要素?産品/工具沉澱的核心是,如何收斂需求并進行規模化服務?成本管控的核心是,如何讓資料成本增長低于業務增長速度?組織與營運的核心是,如何建立資料驅動的組織,以及建立上下遊的信任?度量與考核的核心是,如何讓中台的價值顯現化表達,怎麼評估團隊做的績效?

這些問題如果想清楚,中台建設就可以立項了。否則,中台項目在建設過程中就容易出現問題,會掉進各種“坑”。

當然,這六大問題需要中台建設者們根據不同的企業境況給出自己的答案。但王賽強調了資料品質與安全問題。這是資料中台的基礎,也是建設中台的一個共性問題。

06

關乎資料品質的四大問題

王賽重點講述了資料品質與安全的四個子問題。

首先是資料的一緻性問題。例如,在阿裡巴巴,之前就存在多種資料不一緻的情況:商家投訴資料口徑不一緻,UV的計算方式不相同,雙11離線和實時的計算口徑不統一……這些問題不解決,無法實作資料中台。這可以通過資料名額标準化定義、名額自動化建構等方法和手段解決。

其次是資料資産深度問題。例如,如何利用優惠券拉新促活?大促活動,營運小二如何大規模招商?資料産品的價值與品質如何評估?這需要建立一套資料融通與萃取的體系。包括全管道資料采集、精準識别、立體刻畫、全方位分析、精準營運與應用,實作從垂直系統資料采集,形成公共資料,最後實作高價值的萃取資料。

第三是資料及時性問題。例如,如何保證早上8點上司要能看見關鍵業務KPI的進展情況?資料異動怎樣能被及時發現?這需要建立一套資料運維基線管理,并且與移動辦公實時協同。

最後是資料的安全流通問題。例如,隐私資料怎麼全量安全辨別?如何做到上萬資料權限智能審批?這需要建立一套資料安全等級系統,以及相應資料智能審批系統。

這四個子問題是建設資料中台時需要重點關注的。在王賽看來,阿裡的做法對想要建設中台的企業會有很好的借鑒作用。

07

“這一天我等了兩年“

阿裡中台的發展史、方法論、關鍵問題,是中台市場發展的關鍵一環。”這是因為阿裡自己就是中台最重要的實踐者、創新者。“

這正是阿裡雲智能新金融&網際網路事業部總經理劉偉光的切身體會。他之是以這麼強調,是因為中台市場在經曆高光時刻之後,正面臨一個新的變局。

阿裡資料中台進化史

阿裡雲智能新金融&網際網路事業部總經理劉偉光

例如,有人在否認中台的價值,有人在質疑中台項目的成功率……

這位曾經是Pivotal中國、EMC大中國區、甲骨文中國公司高管,對大資料、資料分析有豐富經驗和深刻洞察的企業級市場資深專業人士對此并不認同。

“作為一個在阿裡工作的員工,我每天切實的感受到中台對我工作的支援。我也感受到中台在阿裡的強大。是以我内心一直有一個很大的沖動,想辦一場會,真正把中台講透,真正和大家分享阿裡為什麼建中台,以及在建設中台所跨越的困難。“劉偉光想讓大家真正認識中台的價值,以及中台到底應該如何建設。

他在會議的開場中緻辭中說,“這一天我等了兩年”。他特地把這次會議的主題定為“破解中台“。這都是要正面回應外界對于中台的質疑。

劉偉光認為,對于很多機構群組織,中台不是要不要建的問題,而是如何建設的問題。例如,在金融行業,用好資料已成為各級上司最為重視的戰略問題。而資料中台就是金融機構在數字經濟時代建立差異化競争優勢的重要武器。

行癫提出,阿裡雲要做厚中台,目的就是要把中台向各行各業推廣,并把中台與AI等深度融合,實作智能中台。

在劉偉光看來,這些都是中台的下一步發展動向。他也相信,再過五年,中台會像資訊化時代的ERP一樣,成為數字化企業的核心部分。而阿裡雲中台,也還會随着數字化、智能化的深入而繼續進化。

上世紀80年代,在财政部一機部和中國會計協會的支援下,中國人民大學和第一汽車制造廠在長春召開了“财務、會計、成本應用電子計算機專題讨論會”,在這次會上提出了“會計電算化”的概念,并以此催生了中國财務軟體領域的用友、金蝶、浪潮等企業。而今天阿裡提出“中台”概念,很可能也會延續同樣的産業規律,在中國催生新一批以“中台”為核心解決方案的科技企業。

目前,中台市場已經顯露廣闊的市場前景。海比研究院最新釋出的《2021中國中台市場研究報告》認為,未來五年,中台市場是我國企業數字化中的熱點市場,年均複合增長率達到60%,2025年将達到944.8億元。

一場中台浪潮已經襲來。(中智觀察)

繼續閱讀