天天看點

資料中台: 新技術、建立設、新融合

 資料時代的挑戰不僅僅是資料量的爆發式增長,更重要的是如何治理好、利用好、管理好這些資料,有效提升業務資料應用能力。在靈活金融、智慧金融的時代需求下,使用者才是商業戰場的中心,為了快速響應使用者需求,借助資料中台的力量可以事半功倍。

傳統資料倉庫的主要應用場景是支援管理決策和業務分析,而資料中台是将資料服務化後提供給業務系統,将資料能力滲透至業務各環節,并解決不斷增長的資料量、不同資料類型造成的工作負載和複雜性問題,滿足高生産力和靈活開發要求,實作可視化的資料治理與協作。

資料中台有效打破了“豎井式”的資料服務模式,可以實作多源資料“管、存、通、用”的一體化、集中化和服務化,通過數字化描述客戶全生命周期,持續驅動多中繼資料創造價值,實作“看清現在、洞察未來、精準行動”的全方位資料賦能。結合最新實踐, 本期對話邀約四位來自銀證保機構的專家,共享對資料中台新内涵的了解和新發展的預期。

婁恒:感謝大家做客本期“對話”。近兩年,資料中台建設逐漸成為金融業落實數字化轉型戰略的重要抓手,随着新技術的不斷成熟、新工程建設的持續深入, 資料中台在提升業技融合效能方面的作用逐漸顯現。首先請大家結合行業背景,簡單介紹對資料中台新發展變化的了解和思考。 

趙理明:資料中台是企業在數字化轉型發展程序中必須具備和比對的新一代數字化能力平台,其最大的能力特點是将業務資料化、資料資産化、資産服務化、服務業務化,形成一個閉環,支撐企業數字化轉型工程。

謝晨:資料中台是管理、标準和工具系統的結合。管理包括資料治理、組織結構、人才隊伍建設,标準包括資料标準、資料模型、資料名額,工具系統包括算力、存儲、配套軟硬體系統。資料中台就是将這三者完整結合,實作公司資料一站式管理、使用、傳遞的平台。 

劉訓豔:資料中台是組織、平台和方法論三者的結合。其内涵一方面展現在技術上,是資料平台的基礎支撐能力,另外一方面展現在業務上,是對業務整合的共享服務能力,特别是資料中台的業務屬性,尤為重要。

婁恒:資料中台的本質是一種智能化的資料聚合服務平台,通過聚合資料形成全局資産,進而為業務提供創新支撐。請各位結合實踐,談談資料中台的實施對業務有哪些改變和創新,這些革新展現出資料中台的哪些賦能方向? 

劉訓豔:今年是我行新一輪數字化戰略規劃的開局之年,數字化轉型戰略圍繞線上化、數字化、智能化作為主線開展。資料中台是數字化轉型戰略落地的重要基礎,價值主要展現在賦能經營管理、智能營銷和智能風控等各業務領域。

目前在建設中的資料中台,對客戶來說,增加了黏性,提升了體驗。對管理層來說,能夠通過行内“掌上行”系統,看清、看懂、看全全行經營管理名額推進情況。對于員工來說,資料中台的降本增效作用顯著,一方面提高整體開發效率,另一方面通過資料資産的沉澱,利用大資料與AI 技術,對智能營銷、風控、營運、審計、客服廣泛賦能。 

謝晨:資料中台提供基礎資料的保障, 有利于為企業客戶提供綜合金融服務。企業客戶業務往來頻繁、業務種類衆多,如果沒有資料中台把分散的、不可關聯的資料統一起來,則很難對其進行綜合分析, 進而提供綜合服務。反之,有了資料中台, 可以針對企業客戶的各種業務展開綜合跟蹤和評價,有利于金融機構更好地提供綜合金融服務、達成數字化轉型目标。

第二是風險管理方面,包括聯合風控、統一頭寸管理、統一額度管理等,這些資料是分散的,可以通過資料中台将其整合, 進而對使用者風險做更為全面的全程畫像。

第三,資料中台建設過程中,一定會有企業級的資料标準和資料模型,所有資料都要入庫,倒逼上遊系統進行全面資訊化。對于之前一些并未完全實作資訊化的小衆系統和小衆業務,其資料也要統一入庫部署和管理,借此資料中台對其資料進行整合之機,順勢完成資訊化工作。

趙理明:現在銀行業都在推動數字化轉型,進一步細分轉型的切入點會發現, 無論是在系統化、體系化層面提出數字化轉型的銀行,還是在某些局部領域突破的銀行,大都優先聚焦于零售領域。資料中台怎麼展現對業務價值的支撐?也是優先考慮零售領域。

新一代資料中台有實時計算能力,有自動性、規則性的觸發,富滇銀行的切入點是智能營銷和智能風控。前者解決發展問題,後者解決品質管控問題,這是優先考慮的業務價值點,也更容易給高層一個更為直覺的、展現資料中台價值的回報。此外,資料中台是一個方法論和工具的結合,不單純是一個技術平台,還面臨組織、文化的重構問題。除了想好切入點、發揮最重要的價值外,更重要的是建立與資料中台比對的組織中台營運機制。

陳峰:資料中台不僅是一個工具,還是一個組織、一種文化、一組戰略,驅動整個企業資訊的共享,打破部門牆、子公司牆。太保是一家集團公司,下面有很多子公司,需要有資料中台支撐資料共享。資料中台将資料的管、建、用等一體化後, 資料共享效率将大幅提升,讓資料從使用到發揮價值的過程變得更快,縮短資料價值鍊條。

婁恒:近幾年的行業實踐,資料中台面臨着來自内外部的很多不同聲音,建與不建?有正面引導亦有負面情緒。怎麼建?有不同流派亦有差異化實施路徑。對此,各位在實踐過程中,有怎樣的認識和思考? 

陳峰:從資料倉庫、大資料平台、資料湖到資料中台等等這一系列概念,正在不斷演變,至今其明确内涵到底是什麼?在不同的企業中仍會有差異化的認知,整個資料中台想要建設成什麼樣,需要什麼樣的組織配合和業務配合等等,也會有很多不同的聲音,需要建立企業級的統一認知。

在資料中台建設過程中, 太保在2020 年提出了新的三年規劃,此規劃明确要建立四個中台:資料中台、AI 中台、技術中台和API 中台,資料中台是這幾年的一項重點工作。這幾個中台的在建過程中,又面臨着集團和子公司之間如何協同的問題。是以從去年到今年,集團内付出了很大精力,宣傳和統一想法、認知、思想、方法等一系列認識論和方法論層面的問題,這也是大家統一思想和統一認知的必經過程。

趙理明:中台的核心思想是共享和複用,符合金融業資料應用的特點,建設資料中台符合金融業數字化轉型“資料驅動業務”理念。在建設過程中需要考慮一個因素,不要把資料中台簡單看成一個技術項目。數字化轉型沒有終點,資料中台建設理論上也沒有終點。在這個長期工程中, 最難的可能是人的思維方式群組織比對轉型的問題。

謝晨:滿足三個條件的企業有必要建設資料中台。第一要有一定規模,第二要有一定深度和廣度的資料資産,第三要有基于資料的經營管理和風險控制等場景。隻要這三個條件基本滿足,資料中台的建設是完全必要的。

如果說有一些不同的看法,可能會來自兩方面:一個來自于公司的業務次元視角,一個來自于技術方面。業務方面的不同看法是:我不關注你們做的是資料中台還是資料倉庫,但我發現資料品質差、資料缺失、送出速度慢。業務關注的這些問題,恰恰是通過資料中台即能更好地解決。技術方面的不同想法是:傳統企業是資料大集中模式,即使采用了分布式技術架構, 但資料也是集中的。随着新技術發展,一些新的跨業跨界領域較難實作資料集中, 更多是不同機構采用多方安全計算、聯邦學習等技術實作資料共享,然而這種模式與資料中台模式不是一種思維模式。實際

謝晨:滿足三個條件的企業有必要建設資料中台。第一要有一定規模,第二要有一定深度和廣度的資料資産,第三要有基于資料的經營管理和風險控制等場景。下一步,從資料到資産到業務營運再産生資料,形成一個比較好的雙向閉環,這将是資料中台未來的典型應用。現在,業界已有此類體驗,我相信将來會做得更好。從技術層面看,資料中台未來發展一定是與AI 緊密結合, 互動會更順暢,曆經從BI 到AI 的過程。這是解決兩個次元的問題:一個是解決企業内部整個資料治理基礎的一套方法論體系和一個平台,一個是解決機構之間的合規、安全的資料分享問題。

劉訓豔:近幾年,對于資料中台的各種聲音都有,我們也困惑過。比如,這個資料中台什麼時候建好?把它當成一個項目;這個資料中台建在哪個平台上?把它當成一個系統或平台。業界對資料中台确實沒有統一認識,不同企業、不同認知、不同發展階段的了解程度、業務需求、市場訴求不一樣,沒有對錯之分。資料中台未來還将持續智能化發展,這是一個很長的打磨完善過程。

婁恒:資料中台不是一項技術,不是一個産品,也不是一個項目,而是廣泛涉及管理、組織、業務、技術能力的融合, 旨在實作企業資料能力的整體提升。在此龐大工程中,各位在實踐層面遇到過哪些難題? 

劉訓豔:不僅僅是資料中台,包括資料應用系統的建設,與交易系統的靈活和資料完整性的落地其實是一個沖突和平衡。業務要完成各自領域的KPI 名額, 靈活地建設業務交易系統,快速響應市場的變化,而資料中台需要基于整體的業務架構來規劃和設計公共資料資産模型。

第二,資料中台的建設需要上司層自頂向下的支援,這點尤為重要。如果隻是在一個部門裡做,則很難推動,中台工程面向衆多訴求各異的業務部門,必須有一個整體的規劃和設計,并得到各級上司支援。

第三,銀行業的資料平台建設都曆經了一個漫長的過程,資料平台基本都是異構分布的,對于面向使用者如何提供統一的服務,包括資料整合、服務整合等,我們一直在持續優化中。 

謝晨:第一個問題是資料關聯。資料中台将整合全公司資料,但整合不代表能夠互相關聯,這是完全不同的兩個階段。資料集中但不關聯,其實效能很差。我們也經曆過這樣的過程,發現問題後, 通過協調一系列技術安排,将這些資料建立關聯。

第二個問題是統計資料名額的制定是以業務部門還是技術部門為主?開始,我們按照各業務條線提出的統計資料名額, 制定各種名額标準,但後來發現,跨條線有很多沖突,互相之間會撞車。我們發現, 資料名額、名額标準應該是企業級的,通過資料團隊的力量,将部門級需求上升歸攏為企業級。這個工作不能靠别人,要靠技術部門自己做,需求來自于業務部門, 但需求整合工作必須在技術部門。

第三個問題是新老系統銜接。每家企業的技術棧都有曆史演化,如何把老系統平緩遷移,做一定曆史投入的保護,與新的資料中台進行銜接,這是一個難點。而比系統銜接更難的,是曆史資料的遷移工作。這些曆史資料的标準、模型,都是基于傳統架構下的資料庫、資料倉庫,如何遷移到資料中台,其中要做繁複的人機結合工作,難度較大。

趙理明:一個高水準的資料中台具備幾點特征:一是全域覆寫,輻射面廣。二是避免重複開發,有效地降本增效。三是最重要的,做到簡單易用,這是對業務條線價值的直覺展現。四是資料中台架構的分層結構要清晰,橫向主題、縱向分層的資料要準确。五是能及時推出資料産品。

這些特征能夠反映出資料中台建設的難點。一是整體架構設計。如何差別于傳統數倉?如何讓資料可抽象、可共享、可賦能?如何讓資料和營銷、風控等業務條線緊密銜接,而非傳統的資料分析在後? 如何提升實時計算能力、自動化驅動能力,進而提高資料中台響應的時效性?解決這些問題,中台架構的設計工作非常關鍵且異常艱巨。二是如何對業務進行資料服務?業務部門需求各異,服務方式和标準很難統一。我們需要反複強調:整個組織是不是比對中台的工具和方法論。

趙理明:資料中台是企業在數字化轉型發展程序中必須具備和比對的新一代數字化能力平台,其最大的能力特點是将業務資料化、資料資産化、資産服務化、服務業務化, 形成一個閉環,支撐企業數字化轉型工程。資料中台是一個方法論和工具的結合,不單純是一個技術平台,還面臨組織、文化的重構問題。除了想好切入點、發揮最重要的價值外,更重要的是建立與資料中台比對的組織中台營運機制。

劉訓豔:資料中台是組織、平台和方法論三者的結合。其内涵一方面展現在技術上,是資料平台的基礎支撐能力,另外一方面展現在業務上,是對業務整合的共享服務能力,特别是資料中台的業務屬性,尤為重要。資料中台好不好,評價次元非常多。簡單一句話總結:全行上下是不是所有人都能夠快速、便捷、安全、準确地共享使用全行資料。這裡的用數包括資料分析、資料模組化、快速定制資料産品等。如能做到這個程度,我覺得資料中台就是成功的。

陳峰:太保自2020 年開始建資料中台,定了兩大目标。一是做全域的資料入湖,二是希望把原有資料應用全部搬遷至新資料平台。

我們對全域資料入湖的目标做了梳理,整個集團有近300 個系統,涉及約100 萬張表入湖,并保障資料有效性。資料入湖後的治理工作,包括資料的分類分級、不同層級的營運管理和支援等工作尤為重要。

針對原有資料應用的遷移問題,我們初期找了幾個應用做試點,發現會比想象中困難得多,每一個應用的搬遷時間超出了預估的10 倍以上。複盤此過程,我們認為應用搬遷應該有所取舍,即不需要的不遷,遷移代價過大的探索通過重構方式進行優化。中台應該在不斷優化的過程中建設,遇到難題時也應該多想一步是否有更加高效的替代手段。

此外,方法論的有效執行需比對過硬的團隊,故在中台建設過程中,團隊建設也是重點。團隊成員應熟悉中台的概念、目标、方法論及工具,才能保障既能建好又能營運好。

婁恒:高水準的資料中台的衡量标準是什麼? 

陳峰:高水準的資料中台有很多衡量名額,比如使用者數、月活、資料資産豐富度等等,能夠反映出中台的規模和價值。此外,中台資料對業務領域、過程的覆寫度和支撐度,也是很重要的衡量名額。

趙理明:資料中台的衡量标準有幾個。一是能不能減少重複建設。二是能不能實作資料與業務的關系更前移、更緊密,也就是實作從管理資料到經營資料的更新。三是資料中台最終效果的呈現是業務價值,能否推出信貸、負債、風控、特色智能營銷等場景的數字化體驗産品。 

謝晨:對于資料中台的價值,我們關注幾個方面。一是資料标準化程度,二是資料的有效覆寫度,三是資料的顆粒度如何。從部門考核到團隊考核,再到個人考核,這就是顆粒度的不同。

另外,在資料層面我們特别關注中台的幾個性能。一是實時性。以前的資料服務一般都是盤後服務或非實時服務,随着業務發展速度和客戶體驗需求的不斷提升,服務、分析、風控等場景的實時性要求越來越高。二是擴充性。每家機關資料中台的規模是有限的,都希望在業務爆發時實作短期便捷、自動化地擴容,而不是從頭到尾地做很多手工配置活動。三是安全性、備援性。金融企業資料資産的價值密度較高,不允許有丢失或錯誤,要保證整個系統的安全性和備援度。

劉訓豔:資料中台好不好,評價次元非常多。簡單一句話總結:全行上下是不是所有人都能夠快速、便捷、安全、準确地共享使用全行資料。這裡的用數包括資料分析、資料模組化、快速定制資料産品等。如能做到這個程度,我覺得資料中台就是成功的。

婁恒:目前,我們可以看到,資料中台能夠解決各業務系統資料孤島、資料隔離、資料不一緻等一系列問題,同時聚焦于資料價值提升、智能分析和工具化子產品, 支援大資料應用層的調用,有效提升業務的資料應用能力。下一步,資料中台的發展方向是什麼? 

劉訓豔:第一是如何讓資料價值化。盤點資料中台中的資料資産,衡量其價值, 并面向各業務部門提供服務計價。也就是說,資料中台一定要量化價值。第二是如何讓資料智能化。海量資料集合,怎樣快速便捷智能地檢索并提供目錄服務,這也是未來的一個方向。

謝晨:下一步,從資料到資産到業務營運再産生資料,形成一個比較好的雙向閉環,這将是資料中台未來的典型應用。現在,業界已有此類體驗,我相信将來會做得更好。從技術層面看,資料中台未來發展一定是與AI 緊密結合,互動會更順暢,曆經從BI 到AI 的過程。

趙理明:一是應用範疇将進一步擴大延展,需要從業務戰略、組織架構、資料市場、技術演進及業務場景等方面綜合考慮,建構更加有利于業務發展的資料能力體系;二是“資料+AI”融合的資料中台會成為一種發展趨勢,包括資料的AI、AI 的資料。

陳峰:資料中台最重要的兩個方面是産品化和營運。将資料真正變成資産之後, 再将資産變成産品,讓使用者用起來。同時, 像做業務營運一樣做資料營運,從資料團隊的角度來看,這是最緊要完成的下一步工作。

陳峰:資料中台不僅是一個工具,還是一個組織、一種文化、一組戰略,驅動整個企業資訊的共享,打破部門牆、子公司牆。資料中台最重要的兩個方面是産品化和營運。将資料真正變成資産之後,再将資産變成産品, 讓使用者用起來。同時,像做業務營運一樣做資料營運, 從資料團隊的角度來看,這是最緊要完成的下一步工作。

繼續閱讀