如題： “資料中台的靈魂是什麼？”
去年我寫的《請不要将資料中台做成“BI”！》一文釋出後，引起了資料圈内專家的廣泛讨論，我通過對大家的觀點進行了整理和總結，大緻可以劃分為兩個派系：BI驅動派和治理先行派。BI驅動派觀點：BI是資料運用的重要場景，資料中台要建得好、用得好，是離不開BI的。關于這個觀點其中有網友的留言十分到位：“對于大部分企業的資料中台團隊而言，BI是唯一的業務，BI不僅是資料中台臉面也是資料中台的靈魂。”治理先行派觀點：資料中台建設的關鍵還是要看資料治理，沒有治理的資料，就是“垃圾級、垃圾出”，BI做的再漂亮，也是個“然并卵”！這兩派的觀點各有各的道理，說的都很在理。那麼，有人就問了：資料中台的靈魂到底是什麼？今天針對這個話題，聊一聊我的想法和思考。01 資料中台的靈魂，是BI嗎？盡管BI是最容易作出成效的資料應用，但如果說BI是資料中台是BI靈魂的話，肯定會有人反對。在最早提出中台概念的阿裡巴巴的資料中台方法論中包含了3個“One”，即：OneModel、OneID和OneService，這3個One合稱“OneData”體系，這套體系後來被視為資料中台的權威和标杆。以至于在後續的常見資料中台架構中，BI 一直屬于資料前台的範疇，提供資料分析和可視化工具和能力。從這個角度将，BI隻是資料中台的使用者對象之一，它都壓根不屬于資料中台的範疇，怎麼能稱得上資料中台的靈魂呢？就個人而言，我向來都很尊重權威，但卻不會迷信權威。在2019年，阿裡提出的資料中台概念的時候，我曾寫過一篇文章《資料中台“熱”下的“冷思考”》，這篇文章主要觀點就是“資料中台”很強大不會包治百病，“OneData”有它适配的行業和應用場景，但如果去生搬硬套的話一定會死的很慘！而把BI融入到資料架構中，形成一套“完整的”資料中台解決方案，更能适配大部分企業的資料應用需求，這沒啥不好。于是，我們就看到了大部分企業将資料中台真的做成了BI！如果從工具的角度看，資料中台和BI經常是搭配使用的。資料中台負責從資料源擷取資料，然後進行清洗、整合、加工，形成前端BI需要的資料模型。BI則是引用資料中台加工好的資料模型，利用報表、圖表等工具，分析和可視化資料，為決策者提供支援。有了BI工具後，企業各級管理者就會追求更高的資料能力，例如實作自助資料分析。而從資料中台架構來看，不論是定制化的主題分析，還是自助式的資料分析，都離不開資料模型的支撐。資料模型設計的不好，BI工具再強大也無法發揮作用。那麼，資料模型是資料中台的靈魂嗎？02 資料中台的靈魂，是模型嗎？在資料中台建構之前，分析師經常發現自己沒有可以複用的資料集，不得不使用原始資料依次進行資料的清洗、加工、計算名額。這就是我們經常說的：“資料分析80%時間都用在了跑數和洗數上了”！這個問題的根本原因是資料模型無法複用，導緻來一個新的需求就需要從頭對資料再加工一遍，進而讓需求開發的周期不斷加長。在《請不要将資料中台做成“BI”！》文章留言中，很多讀者都在讨論BI和資料中台的差別，有從技術角度出發的、有從業務角度出發的，還有從方法論角度出發的。而我個人認為，資料中台與BI一個最大的差别，就是資料中台更加強調資料模型的重要性。
如上圖所示，按照經典數倉分層架構，資料中台的模型層一般也會分為四層：ODS、DWD、DWS、ADS。（注：關于數倉分層，本号中有大量的相關推文，可在曆史文章中查找，此處不在贅述）。如果你有興趣可以對所有分層的表的使用情況做一個統計，你會發現：有的表基本沒有被上層調用，這說明這些表基本沒有辦法複用。而有的是大量資料應用層直接調用ODS層表，這說明DWD、DWS層的設計缺失，久而久之勢必會産生性能瓶頸。這都是資料模型設計不好帶來的問題，而一個好的資料模型需要具備規範性、複用性和完備性三個特點。1、規範性。這個大家一般都很清楚，這裡我在強調一下：第一，資料模型分層的規範性，例如：上圖我們分為四層，即：ODS、DWD、DWS、ADS。第二，資料模型流向的規範性，資料流向必須是正向流轉，即：ODS–>DWD–>DWS–>ADS，禁止出現反向依賴，例如DWS的表依賴ADS的表。第三，資料模型命名的規範性，如：表命名規則、詞根規則、臨時表規則、排程任務規則、修飾詞規則等。2、複用性。通過中繼資料的資料血緣，可以看到，一個比較差的模型設計，自下而上是一條線。而一個理想的資料模型設計，它應該是交織的發散型結構。
3、完備性。這也很好了解：如果彙總層資料無法滿足需求，使用資料的人就必須使用明細資料，甚至是原始資料。一個完備的資料模型，需要将盡可能多的次元、度量考慮進來，而這個能力不是一朝一夕就能具備的，他不僅需要深厚的技術功底，還需要淵博的業務知識。綜上，我們所有的模型全部規範設計了，那資料中台就有了靈魂了嗎？我記得19年的時候，我與一家企業做資料中台方面的交流，憑借多年在資料領域的經驗和對當時“資料中台”這個新概念的了解，我對資料中台的理念、技術、方法、價值等，巴拉巴拉~~~ 可勁的一頓輸出。期間還特别強調了資料模型重要性，以及它對資料應用的價值。
講完之後的交流環節，客戶提出了一個靈魂問題：你講得非常好，可是我們沒有資料怎麼辦？當時，我就被問得一頭黑線、尴尬在了原地。是呀，巧婦難為無米之炊，資料都沒有，還談個“鳥的”資料中台！03 資料中台的靈魂，是資料嗎？我們天天都在談“資料要素化”，要如何如何讓資料産品變成資料商品，要如何推動資料流通和變現，大家似乎都在讨論“how”，而忽略了“what”！要知道，資料才是這一切的基礎。我們用資料中台處理資料，用資料前台（BI工具）分析資料，但不管你是什麼台，沒有資料一切都是白扯。有人說，數字化時代，資料好比黃金！其實，在筆者看來：将資料比作黃金是低估資料的價值了。在《資料資産管理：資料到底有沒有價值？》一文中，筆者提到：黃金是有規格的，它的規格限制了它的價值。一定的純度，一定重量的黃金，其市場價值比較容易計算。而資料具有可複制性、易傳播性、虛拟性，用的人越多其價值就越大。另外，對于相同資料不同人、不同方式使用其價值也不一樣。對企業而言，資料是企業生産、經營、戰略等幾乎所有的經營活動所依賴的、不可或缺的資訊。資料就如企業經營者的眼睛，通過資料可以反映出經營的問題。财務人員掌握全局财務資料，就能夠幫忙老闆作出更好的戰略布局，提高企業決策力；管理人員掌握全面人才資料，就能更好的讓合适的人，幹合适的事，增強企業整體競争力；産品人員掌握市場資料、使用者資料，就能以跟高的效率生産出更好的産品，提升企業生産力；營銷人員掌握客戶資料，就能更深入了解客戶，為客戶提供更好的産品和服務，提升企業營銷力；……黃金提純的價值尚可計算，資料利用的價值不可估量，有人用資料記錄曆史，有人用資料預測未來！然而，有了資料，就真的擁有真相了嗎？有了資料，就真的可以驅動業務了嗎？有了資料，企業就真的可以智慧了嗎？有了資料，資料中台就真的有了靈魂了嗎？2014年，大資料剛剛興起的時候，我參與了一個大資料項目的建設，當時客戶要求把所有資訊系統的全部資料都統一采集到大資料平台管理。具體怎麼用這些資料，客戶也沒有什麼想法，用客戶的說法：“甭管它怎麼用，先管起來再說”。估計大家也能夠猜得到，這個項目最後還是無疾而終了。沒有需求，盲目的采集資料，以為是為企業彙聚了一個“資料湖”，實際上沒人打理、沒人使用，且資料品質“髒亂差”的“資料湖”，已經不能稱之為“資料湖了”，那隻是一片“資料沼澤”！04 資料中台的靈魂，是治理嗎？“無治理、不資料”！資料就像鐵礦石——它一定是有價值，但如果你不懂冶煉，不對它進行煉化和提純，那麼從價值的角度，鐵礦石和普通的石頭确實沒有啥差别。這就是資料治理的價值，将資料資源加工為資料資産，讓原始的資料材料，轉化為有價值的資訊。關于資料治理，筆者在《一本書講透資料治理》中提出了“道法術器”的治理方法論，旨在幫助企業建立資料治理體系，優化資料治理流程，規範資料操作，提升資料品質，賦能資料應用，挖掘資料價值。這其實是與企業建設資料中台的目的是相輔相成的。
之前，有企業咨詢：我們有了資料中台，要不要做資料治理？也有人問：我們做了資料治理，是不是就不需要上資料中台了？其實在筆者看來，資料中台與資料治理，并不是誰涵蓋誰的關系，而是互相協同、互為支撐的關系，它們是實作資料驅動的“兩個輪子”。是以，我們看到目前主流的資料中台解決方案，都包括了資料治理内容。資料治理制定了資料“采存管用”的政策，資料中台來落地這個政策，通過資料中台與資料治理的雙輪驅動，幫助企業實作數字化轉型。在資料中台的建設中，資料治理主要起到的作用包括：1、資料品質保障資料治理通過規範和流程確定資料的品質和準确性，提供高品質的資料給資料中台供各業務應用使用，保證資料中台提供的資料是可靠和準确的。2、資料一緻性和标準化資料治理通過規範和标準化資料的定義、命名和格式，確定資料中台中的資料具有一緻性，使得各個業務應用能夠基于相同的資料進行分析和決策。3、資料安全和合規性資料治理可以建立資料的安全政策和權限控制機制，保護資料的安全性和隐私性，確定資料中台中的資料符合相關法規和合規要求。4、資料共享和協作資料治理可以建立資料共享的機制和規範，促進不同部門和業務應用之間的資料共享和協作，提高資料中台的資料利用效率和價值。綜上，資料治理它通過規範和流程確定資料的品質和準确性，保證資料的一緻性和标準化，保護資料的安全性和合規性，促進資料的共享和協作，進而提高資料中台的價值和作用。那麼，資料治理是資料中台的靈魂嗎？聊到這，我相信包括我個人在内的大部分人都會認為從價值角度來講，資料治理可以稱為資料中台的“靈魂”。但是這個觀點一定也會遭到質疑。因為，還有一種說法“資料中台是為資料服務而生！”。通過在企業内部建立一個集中管理和共享資料的平台，将分散的資料資源整合起來，通過統一的資料接口和服務，為企業的各個部門和業務應用提供資料支援，提升資料的價值和使用率。05 資料中台的靈魂，是服務嗎？資料通過資料中台的采集、彙聚、加工、處理之後，形成了企業的資料資産。但這還不是資料中台的終點，資料中台更大的職責是需要需要建構資料服務層，通過接口服務化的方式将資料提供出去，讓更多的部門、更多的業務應用來使用。筆者之前提出資料中台有應該“三力”：治理力、分析力和連接配接力。其中，治理力和分析力我們前邊講過了，下面我們重點聊一聊資料中台這第三個能力：連接配接力。資料服務層作為資料中台整體應用架構中處于中間地位，為資料模型和資料應用之間建構了一座連接配接的橋梁，将資料計算層的結果通過資料API的形式對外共享給資料應用層。請參考：《為什麼說資料服務是資料中台的标配？》
目前主流的資料中台架構中，提供的資料服務主要包括：跨源資料服務：提供跨源資料整合和通路接口和工具，統一資料接入層，屏蔽多種異構資料源的讀寫差異，減少資料通路和應用成本。主題式資料服務：基于中繼資料和規範定義和模組化，建構主題邏輯表，屏蔽複雜實體表，提供業務視角下的查詢。一站式查詢：資料服務最終将使用者通路的API 轉化為底層對各種資料源的通路，實作對資料中台資料的一站式查詢，提供資料檢索、聯機分析、實時查詢等，提升資料查詢的效率。全鍊路打通：資料和應用的分離會導緻資料血緣無法完整追溯，資料服務不僅提供了連接配接資料和應用能力，還通過服務授權以及通路監控等功能，将資料API的通路情況實時寫入中繼資料中心，形成完整的資料血緣。訂閱傳遞能力：資料API建構完成，并不需要資料消費者重複建構內建通道，而是通過授權“訂閱”的方式，讓資料消費者通過接口快速使用資料。API網關服務：API網關服務使用雲原生技術提供了服務API的統一管理和監控能力，包括：服務注冊、服務自動發現、認證授權、流量控制、逾時熔斷、安全控制、監控分析等。資料服務的形式是API。說到API，不少人認為它隻是一項技術，10年前可能我們都是這麼了解的。但在目前的數字化階段，API已超越了技術的範疇，從對技術的要求轉變為商業戰略和商業模式的需求。資料服務API為企業内部資料共享，産業鍊上下遊資料互通，提供了連接配接能力，資料服務API不僅用在資料互動和資料應用層面，對資料的開放、流通和交易也起着重要的支撐作用。資料服務層（OneService）改變了傳統的資料內建和傳遞方式，所有整合到資料中台的資料都通過資料服務提供，資料服務對外暴露的不是資料而是接口，資料消費者不用直接擷取資料，而是通過接口服務擷取。資料服務API無疑是資料中台不可或缺的重要功能。但，資料服務真的是資料中台的靈魂嗎？……寫在最後的話其實，不論是BI、資料模型，還是資料治理、資料服務，亦或是資料本身，每一個對資料中台都是必不可少的組成。或許這篇文章沒有讨論清楚資料中台的靈魂到底是什麼。我們在讨論哪一個才是資料中台的靈魂的時候，其實重點是要大家看到他們對企業數字化重要作用和價值。最後，您認為資料中台的靈魂是什麼？歡迎在留言區讨論。