資料中台不是大資料平台！
首先它不是一個平台，也不是一個系統，如果有廠商說他們有個資料中台賣給你，對不起，它是個騙子。
要回答資料中台是什麼，首先要探讨一下中台到底是什麼。雖然沒有明确的定義，但是作為理工直男，我們可以先把中台看作是一種中間層。既然是一種中間層，那麼中台确實是一種十足技術用語，我們可以完全從技術角度來探讨了。
我們可以應用 Gartner 的 Pace Layer 來了解為什麼要有中間層，這樣可以更好地了解中台的定位和價值。Pace Layer 裡提到，可以按照事物變化的速度來分層，這樣可以逐層分析并設計合理的邊界與服務。
在資料開發中，核心資料模型的變化是相對緩慢的，同時，對資料進行維護的工作量也非常大；但業務創新的速度、對資料提出的需求的變化，是非常快速的。
資料中台的出現，就是為了彌補資料開發和應用開發之間，由于開發速度不比對，出現的響應力跟不上的問題。
資料中台解決的問題可以總結為如下三點：
- 效率問題：為什麼應用開發增加一個報表，就要十幾天時間？為什麼不能實時獲得使用者推薦清單？當業務人員對資料産生一點疑問的時候，需要花費很長的時間，結果發現是資料源的資料變了，最終影響上線時間。
- 協作問題：當業務應用開發的時候，雖然和别的項目需求大緻差不多，但因為是别的項目組維護的，是以資料還是要自己再開發一遍。
- 能力問題：資料的處理和維護是一個相對獨立的技術，需要相當專業的人來完成，但是很多時候，我們有一大把的應用開發人員，而資料開發人員很少。
這三類問題都會導緻應用開發團隊變慢。這就是中台的關鍵——讓前台開發團隊的開發速度不受背景資料開發的影響。
史凱總結說，“資料中台是聚合和治理跨域資料，将資料抽象封裝成服務，提供給前台以業務價值的邏輯概念”。
如下圖所示：
DData API 是資料中台的核心，它是連接配接前台和背景的橋梁，通過 API 的方式提供資料服務，而不是直接把資料庫給前台、讓前台開發自行使用資料。至于産生 DataAPI 的過程，怎麼樣讓 DataAPI 産生得更快，怎麼樣讓 DATA API 更加清晰，怎麼樣讓 DATA API 的資料品質更好，這些是要圍繞資料中台去建構的能力。
資料中台和資料倉庫、資料平台的關鍵差別
這是現在資料行業大家經常讨論的問題，到底資料倉庫、資料平台和資料中台的差別是什麼。
概括地說，三者的關鍵差別有以下幾方面：
- 資料中台是企業級的邏輯概念，展現企業 D2V（Data to Value）的能力，為業務提供服務的主要方式是資料 API；
- 資料倉庫是一個相對具體的功能概念，是存儲和管理一個或多個主題資料的集合，為業務提供服務的方式主要是分析報表；
- 資料平台是在大資料基礎上出現的融合了結構化和非結構化資料的資料基礎平台，為業務提供服務的方式主要是直接提供資料集；
- 資料中台距離業務更近，為業務提供速度更快的服務；
- 資料倉庫是為了支援管理決策分析，而資料中台則是将資料服務化之後提供給業務系統，不僅限于分析型場景，也适用于交易型場景；
- 資料中台可以建立在資料倉庫和資料平台之上，是加速企業從資料到業務價值的過程的中間層。
資料倉庫具有曆史性，其中存儲的資料大多是結構化資料，這些資料并非企業全量資料，而是根據需求針對性抽取的，是以資料倉庫對于業務的價值是各種各樣的報表，但這些報表又無法實時産生。資料倉庫報表雖然能夠提供部分業務價值，但不能直接影響業務。
資料平台的出現是為了解決資料倉庫不能處理非結構化資料和報表開發周期長的問題，是以先撇開業務需求、把企業所有的資料都抽取出來放到一起，成為一個大的資料集，其中有結構化資料、非結構化資料等。當業務方有需求的時候，再把他們需要的若幹個小資料集單獨提取出來，以資料集的形式提供給資料應用。
而資料中台是在資料倉庫和資料平台的基礎上，将資料生産為為一個個資料 API 服務，以更高效的方式提供給業務。
資料中台應該具備什麼能力？
大資料和人工智能大火之後這幾年，很多人一直在提一個說法，那就是“資料是新的石油”。但史凱的觀點卻有些不同，在他看來，資料不等于資料資産，如果沒有從業務的角度對資料進行規劃，再多的資料也無法産生價值。
史凱認為資料中台最核心的一個關鍵元件是資料資産目錄。“我們認為，一個企業的資料要能夠充分發揮價值，很重要的一個前提條件就是這個企業的資料結構和資料資産目錄是對整個企業開放的。所有人都能夠通過這個資産目錄了解公司有哪些類别的資料、包含什麼屬性、源資料由誰管理，這樣就可以快速搞清楚這些資料是不是自己需要的。但資料本身可以不開放，因為資料是有隐私資訊和安全級别的。”
大企業内部業務衆多，不同業務可能存在很多重複資料。所謂的資料資産目錄就是把資料的模型去重、歸一、梳理，變成一個樹狀結構，這個樹狀結構不直接對應資料庫中的字段。以航空貨運為例，其資料資産可能包括貨機、客運機的輔艙，一架貨機就是一個資料資産目錄的節點，而貨機的各種屬性（如貨機型号、空間大小、年份等）就是這個節點下面的資料模型。資料資産目錄做的事情就是從業務層面出發制定資料标準，将企業業務相關的資料資産模型抽取出來，這跟後面用什麼資料庫去存儲、用什麼結構去存儲、存成結構化還是非結構化都沒有關系。它相當于把企業的業務從資料層面做了一個梳理，用資料的語言把企業的業務模型還原出來。資料資産目錄做好之後，後面才是用什麼技術手段、從哪裡提取資料來映射到這個資料資産目錄。
除了開放，資料資産目錄還應該具有标簽描述、可檢索，這樣才能最大程度地友善真正使用資料的人，以最快的速度找到他們需要的東西。
在 ThoughtWorks 提出的精益資料創新體系中将企業所需要具備的資料能力概括為以下六種，具備了這六種能力，企業才具備成為資料驅動的智能企業的基礎，而這些能力的承載平台，就是資料中台：
- 資料資産的規劃和治理
做中台之前，首先需要知道業務價值是什麼，從業務角度去思考企業的資料資産是什麼。資料資産不等同于資料，資料資産是唯一的，能為業務産生價值的資料。 對于同一堆資料，不同業務部門所關注的資料名額可能完全不同，怎麼讓各個跨域的業務變成統一的标準，就需要規劃企業的資料全景圖，将所有有可能用上的、所有對企業有可能有價值的資料都規劃出來，最終梳理出企業的資料資産目錄。在這個時候不需要考慮有沒有系統、有沒有資料，隻需要關注哪些資料是對企業業務有價值的。這一層不建議做得太細，太細就難以形成标準，不能适用于多個場景了。資料治理是資料中台很重要的一個領域，ThoughtWorks 認為在現在業務邊界消失、需求快速變化的情況下，企業需要具備精益資料治理的能力——Lean Data Governance。傳統的中心化、事前控制式的資料治理方式，要改變為去中心化、事後服務式的治理方式。
- 資料資産的擷取和存儲
資料中台要為企業提供強大的資料資産的擷取和存儲的能力。
3. 資料的共享和協作
企業的資料中台一定是跨域的，需要讓所有的人都知道資料資産目錄在哪裡。不能因為資料安全，就不讓大家知道企業有什麼資料。沒有共享和開放，資料沒有辦法流動起來，沒有流動的話資料的價值産生的速度就會非常慢。是以在資料安全的基礎上，企業的資料資産目錄要對利益相關者、價值創造者開放，要讓業務人員能夠做到“Self-Service”。
4. 業務價值的探索和分析
資料中台不僅要建立到源資料的通路，還需要提供分析資料的工具和能力，幫助業務人員去探索和發現資料的業務價值。一個好的資料中台解決方案中需要針對不同業務崗位的使用者提供個性化的資料探索和分析的工具，并且在此基礎上一鍵生成資料 API，以多樣化的方式提供給前台系統。
- 資料服務的建構和治理
資料中台需要保證資料服務的性能和穩定性，以及資料品質和準确性，還需要具備強大的服務治理能力。資料中台是一個生态平台，在資料中台上面會不斷生長各種資料服務，是以從一開始就建構好資料服務的治理結構是非常重要的，資料服務需要可以被記錄、可被跟蹤、可被審計、可被監控。
6. 資料服務的度量和營運
如果資料中台最終隻是做到把資料給到業務人員，那它就隻是一個搬運工的角色。資料中台還需要具備度量和營運資料服務的能力，能夠對中台上提供的資料服務及相關行為持續跟蹤和記錄，包括哪些資料服務被哪個部門用了多少次等，通過這些去度量每一個資料服務的業務價值。
史凱認為，資料中台是一個需要用網際網路思維去經營的利潤中心平台，資料中台的經營分析人員需要分析業務，了解為什麼今天上午這個财務部門的人用了資料中台、調用了十次，下午他不用了，原因是什麼，調用了這些資料服務的人通常還會調用哪些其他的資料服務。這些都需要相應地做記錄、做日志、做分析，要把資料當做像電商平台一樣去經營，然後實時地根據這些業務行為資料去提醒資料服務提供方，調整、改變、優化資料服務，這才是可經營的資料中台，也隻有這樣業務部門才能得到最快的支援和響應。
為什麼人人都需要資料中台？
資料中台并非隻有大公司才需要的高大上的玩意。
ThoughtWorks 從 2017 年到現在，已經幫助多家大型國内外企業建設資料中台，其中有體量巨大的企業級資料中台，也有部門級的小資料中台。
“未來所有的企業核心都會變成加工資料的企業，而資料中台是資料價值化的加工廠，是以所有的企業都需要資料中台的能力，資料中台一定是未來每個企業的标準配置。”
在史凱看來，資料中台并不意味着“大而全”的資料平台。根據企業的規模和業務的不同，資料中台可大可小，規模、複雜度可能都不相同，但它對業務産生的價值是一樣的。
當企業評估自己是否應該建設資料中台時，應該從哪些方面來考慮？史凱認為，從戰略角度來說，每個企業都需要建立自己的資料中台；從戰術角度來說，當企業發現自己的資料開發利用的速度和應用開發的速度不比對的時候，就需要考慮建構資料中台。
原來很多企業在做應用系統的時候，什麼都不考慮直接上單體架構，一上來就先做資料庫，然後在上面建應用。ThoughtWorks 建議現在的企業，即使不做資料中台、不去立一個叫做“資料中台”的項目，但是在做應用的時候，最好把這個應用分成三層，業務層、資料中台層、源資料層，在一開始做應用的時候就把三個層次抽象出來。
資料品質差是以做不了資料中台？No！
曆史遺留的資料品質問題經常讓大家對資料的利用和價值産生質疑。2018 年，史凱在與不同企業溝通過程中經常聽到的一句話就是，“我們現在還沒有到利用資料這一步，因為（應用系統中的）資料品質太差”。
每次聽到這句話，史凱腦子裡就好像聽到了另外一句話，“還沒到培養孩子的時候啊，孩子太小了”。
不能因為資料品質差，就不去利用資料。恰恰是因為沒有去做後面的事情，是以資料品質才差。而且也不能因為資料品質差就抛開業務場景、試圖全面解決資料品質的問題，這樣得不到業務部門的支援，也無法從資料工作中産生業務價值。是以 ThoughtWorks 建議的恰恰是利用做應用、做業務的需求，同步解決資料品質問題。
史凱認為，資料品質問題，根本上是在建構應用之初缺乏整體資料規劃和資料思維導緻的問題。原來的流程類應用建構之初，隻考慮了如何讓流程跑起來，缺乏對這個應用在整個企業的資料全景圖（Data Landscape）中的定位的分析，沒有從源頭上優化資料的存儲、流轉，進而更好地與其他的系統中的資料去對齊口徑、統一語言，将流程問題抽象成領域模型問題，再将領域模型抽象成資料模型。
建設資料中台的挑戰及應對政策
建設資料中台最大的挑戰在于前期能否從業務層面梳理清楚有業務價值的場景，以及資料全景圖，而不僅在于後期的技術建設。
資料中台建設面臨的挑戰包括：
- 梳理業務場景：搞清楚資料中台如何對業務産生價值。
- 建設資料中台的優先級政策：需求可能大而全，但我們不能直接建大而全的資料中台，應該根據業務重要性來排需求的優先級。
- 資料治理問題：和業務獨立開的資料治理少有成功的，大的資料标準要有（資料資産目錄），通過資料資産目錄将共有的緯度、共性的業務模型提煉出來，在此基礎之上資料治理需要跟業務場景緊密結合。
資料中台的建設需要兩個戰略耐心
資料中台是為了加快從資料到業務價值的産生速度，但是它的生産過程依然是需要時間、有很多複雜的工作要做的，是以對于資料中台的投資方和資料中台的建設方來講，都需要對應的戰略耐心。
- 對于投資方來講，要充分認識到資料中台類項目的價值和局限性。在現在的組織結構和技術成熟度下，資料中台依舊是一個技術平台，對于業務價值的産生是一個加速的過程。但是業務對于資料的需求不會因為有了資料中台就減少，資料中台也不是哆啦 A 夢，不能随心所欲地變出各種業務想要的服務。這依然是一個需要統籌規劃、靈活疊代、演進建設的系統性工程，是以需要要管理好期望，有一定的戰略耐心。
- 對于建設方來講，要充分認識到資料中台建設的複雜度，不要操之過急，不要期待畢其功于一役。史凱的建議是要從小中台做起，圍繞具體有價值的業務場景去建設，盡量不脫離場景去搞周期長、大而全的純工具平台建設。
資料中台也可以小而美
建設資料中台的關鍵考量包括兩方面。
首先資料中台一定要與業務價值對齊。建構資料中台，最重要的不是技術，也不是資料品質好不好，而是資料思維和資料文化。資料思維就是要建立起從資料的視角去思考問題的方式；資料文化就是要把資料和業務當成一體去看，而不是隻将資料當作一個支援工具。想清楚業務對于資料的訴求是建構資料中台的第一步，哪怕暫時不能想的太細，也要去想，想不清楚就先不要做。
不要在業務場景還沒有明确、優先級還不清晰、價值度量體系尚未建立起來的時候，就建立大而全的資料平台，并且把所有的資料都存起來。企業都是追求投入産出比的，大而全的資料平台往往會面臨尴尬的局面，一堆功能看上去很有用，應該都能用上，但是缺乏應用場景，真的有了場景，發現也不能開箱即用，還需要衆多的定制化。
其次，資料中台應該從小資料、小場景做起。
資料中台是面向場景而非面向技術的，這種與客戶的業務、企業的結構和資訊化發展階段有着緊密的相關性的業務基礎架構，是很難買一個大而全的産品來一勞永逸解決的。
可以通過下面這個圖來解釋建構中台的原則：
一開始的時候需要頂層設計，面向業務願景制定中台的整體規劃，全面的梳理資料創新全景藍圖，這就是上圖左邊的黑色架構部分，通過業務願景驅動出所有的業務場景探索，進而推導出資料中台的全景架構、技術支撐。
但是在實施的時候，要從具體的業務場景出發。從高價值資料集場景做起，然後順着這個場景豎切，找到資料全景圖中的一個或多個資料集合，從小資料場景落地，這樣才能快速驗證價值。大處思考，全局拉通，避免後續的資料孤島，但是從小資料集切入，從可實作性高的場景啟動。然後一個個的場景做起來，業務價值和中台能力也就同步建立起來了。
總的來講就是，“設計階段橫着走，落地階段豎着切。”
資料中台團隊和技術選型
資料中台團隊通常需要包含以下角色：
- 業務專家團隊：了解業務、梳理業務場景，确定資料資産與業務場景的一一對應關系，确定業務場景的優先級，為資料中台的建設提供依據。
- 資料工程團隊：建設和維護資料中台，包括 ETL、資料采集，以及資料中台性能和穩定性保證，利用中台的工具采集、存儲、加工、處理資料。
- 資料分析團隊：分析資料價值、探索場景，生産更多的資料服務。
- 資料治理團隊：梳理資料标準、構件資料安全和隐私規範，利用開源去中心化的資料治理工具（比如 atlas、wherehows）來圍繞業務場景解決資料品質和安全問題。
- 智能算法團隊：為資料分析、業務探索提供智能和算法工具。
而這樣的一個團隊的工作就構成了一個資料生産線，一個從資料到業務服務的資料服務工廠，這個工廠有生産工廠中的房間（Data Pipeline）、研發中心（資料實驗室）、管理辦公室（資料治理），還有産品展示中心（資料服務商店）。
資料工廠是一個邏輯概念，不是一個大而全的産品，ThoughtWorks 結合過去幾年的實踐給出了一個資料工廠元件選型的參考架構，這些推薦的架構群組件，很多都展現在過去 ThoughtWorks 推出的技術雷達中并進行了詳細解釋，如下：
資料中台的出現對于現有資料團隊的挑戰
前面已經提到，資料中台是企業的 Data API 工廠，用更高效、更協同的方式加快從資料到業務的價值，能夠給業務提供更高的響應力。是以資料中台距離業務更近，這對于傳統企業的資料業務來講，是一個重大的變化，同時給原來的資料團隊也會帶來巨大的挑戰。
1. 對資料分析人員的業務要求提高了
企業傳統的資料工作和業務工作分工明确、界限清晰，業務人員負責業務需求，提出業務問題，并将業務問題拆解成一個個清晰的資料問題，然後資料工程師和資料分析師在這個清晰的問題下解題。
但是，在資料中台出現後，資料中台是一個賦能平台，它會沉澱、提供很多資料分析工具和資料服務，能夠讓不具備專業資料能力的業務人員也可以進行一些簡單的資料分析，産生業務的洞察。這就意味着在資料中台的支援下，相對簡單清晰的業務問題會更多的由業務人員自己解決掉，那麼傳遞到專業資料人員的問題，都會是更加複雜的問題。這對于資料人員的業務了解能力就加強了，他 / 她們必須具備快速了解業務的能力，才能夠展現出專業性和優勢。
2. 對于資料人員的工程能力要求提高了
原來的資料分析工作屬于個體工作方式，每一個資料科學家、資料分析師就是一個獨立的工作單元，業務部門給出業務問題，他們通過自己擅長熟悉的工具和方法給出結果。但是在資料中台出現後，他們一方面獲得了更多資料分析的武器和工具，能夠站在前人的基礎上工作，提高了效率和準确度，另外一方面，他們也需要掌握更多的平台化的資料分析工具，比如 Jupyter Notebook，同時也被要求能夠把自己分析的結果轉化成資料服務，沉澱到中台。
3. 資料團隊需要具備更多的業務視角
原來的資料分析團隊是一個功能型團隊，更多以資料智囊團的身份存在。大部分情況下，距離業務比較遠，更不要提對業務的結果負責。而在資料中台出現後，資料中台距離業務會越來越近，甚至直接影響和參與業務的運作，資料團隊将慢慢脫離資料智囊團的身份，逐漸從背景走向前台，直接負責一個個資料服務，而這些資料服務是會直接參與到業務當中、産生業務價值的。這樣的定位變化，要求資料團隊具備更多的業務視角，要更關注業務價值，直接對齊企業的業務目标去工作。
是以，資料中台的出現，不僅是一個技術平台，它對于企業而言是一個系統化的工作，企業資料相關的流程、職責、分工都要有對應的調整，才能達成整體的目标。
資料中台 VS 資料隐私
對于資料中台來說，資料隐私和安全性也是非常重要的問題。可能很多人還記得前些日子馬化騰針對“騰訊資料中台論”的回應。去年騰訊組織架構調整程序中實作了技術打通，而對資料打通保持謹慎态度。馬化騰在 18 年 11 月的世界網際網路大會上回應“資料中台論”：“騰訊不能套用很多其他公司的做法，把資料直接去任意打通。因為在我們的平台裡面，大量全部都是人和人之間的通信、社交行為資料，如果說資料可以任意打通，給公司業務部門或者給外部的客戶用，那是會帶來災難性的後果。這方面我們要更加謹慎，我們要從使用者的角度來考慮，把個人資訊和資料保護放在優先地位。”很多人将這解讀為騰訊不做資料中台，史凱卻不這麼認為。
在他看來，騰訊的回應并不是說他們不做資料中台，而是強調要在資料隐私上做更多的工作。其實所有的資料安全和隐私的保護都需要從場景出發。史凱認為，“不能從純資料層面來看資料隐私，資料隐私是不能脫離場景的”。如果純粹從資料層面，而不從業務場景層面去管理資料隐私，就會帶來兩方面的問題，要麼資料被管理的非常死，阻礙了業務價值的産生；要麼資料隐私管理就會有漏洞。
史凱舉了一個例子，比如我們講的使用者交易資料，如果不關聯使用者基本資訊，交易資料本身對于使用者來說是不具備隐私風險的，因為它不關聯到任何一個使用者個體。是以，是可以對脫敏後的使用者交易資料進行分析和利用的。
另一方面，如果脫離場景談資料隐私，也可能會導緻忽略了潛在的安全問題。有時候如果不把場景關聯起來，可能兩個資料看上去沒有安全問題，但其實外人把這兩個資料關聯起來就産生價值了。這也是為什麼在一開始的時候就要把所有的場景，盡可能地全部分析出來。
另外，設定權限、資料分級稽核、庫級資料脫敏等都是可以提升資料安全的手段。現代資料中台必須具備資料調用行為的監控和記錄機制，反過來也能增強對資料安全和隐私的保護。
資料中台的下一步
目前國内外已經有不少公司開始投資建設資料中台，大家比較熟悉的包括阿裡、華為、聯想、海航、上汽、殼牌等。
在史凱看來，資料中台目前處于上升發展期。雖然未來資料中台未必還叫做資料中台，但它一定會成為企業必備的基礎元件。
世界正在從資訊化向數字化發展。資訊化是指大部分的工作都在實體世界裡完成，然後用信電腦的數字化世界解決一小部分問題。數字化則是把人從實體世界搬到數字化世界。從這個角度來講，資料中台将會變成實體世界的業務在數字化世界的一個還原。
資料中台設計的初衷是将計算與存儲分離，從狹義上來說，真正最核心的資料中台可以是沒有存儲的。但就目前的情況來看，廣義的資料中台在未來一段時間内仍會涵蓋資料倉庫、資料湖等存儲元件，“資料工廠”這個概念可能更适用于現在的階段。但随着資料中台的發展，未來很有可能不再需要資料湖了。
最後，史凱也提到了阿裡中台戰略中的另一個中台——“業務中台”。他表示“目前業務中台更偏實時交易，是從上往下沉澱業務；資料中台目前更偏分析、決策和洞察，為業務提供 T+N 和 T+0 的資料服務，但是再往前走，資料中台跟交易會慢慢結合得更為緊密。随着計算能力越來越強，以及微服務架構的進一步發展，未來業務中台和資料中台可能會融為一體。”