天天看點

吳鐵男:建構企業級資料中台,提升全行資料能力——盛京銀行企業級資料中台建設實踐

作者:金融電子化

中國銀保監會《關于銀行業保險業數字化轉型的指導意見》中提出目标:到2025年,銀行業保險業數字化轉型取得明顯成效。數字化金融産品和服務方式廣泛普及,基于資料資産和數字化技術的金融創新有序實踐,個性化、差異化、定制化産品和服務開發能力明顯增強,金融服務品質和效率顯著提高。數字化經營管理體系基本建成,資料治理、科技創新能力大幅提升,網絡安全、資料安全和風險管理水準全面提升。

吳鐵男:建構企業級資料中台,提升全行資料能力——盛京銀行企業級資料中台建設實踐

盛京銀行首席資訊官 吳鐵男

數字化轉型是目标,

資料能力的提升是關鍵手段

盛京銀行結合行内數字化轉型戰略,以企業級資料中台建設為基礎,建構全行資料能力體系。

1.資料采集交換能力。将分散的若幹應用資訊系統源資料進行采集,通過交換平台的建設來實作資訊交換,完成資料的抽取、清洗、加載,構造統一的資料處理和交換。

2.資料整合存儲能力。通過資料排程平台、資料開發平台、外部資料平台等不同的建設模式,建構全行統一的資料整合存儲模型,實作行内資料、外部資料的統一加工、存儲與服務,建立全行統一的面向業務的資料模型。

3.資料開發管理能力。建立項目—任務—模型—開發—測試—上線的全流程管理,其中資料模組化子產品與資料管控平台全面對接,實作資料标準的落地,ETL開發實作線上配置與程式生成,程式部署實作自動化打包以及版本管理。

4.資料服務共享能力。以多樣化服務(如标簽、名額、畫像、模型、報表、資料産品、自助分析等等)為視角,整合內建資料中台各種能力,發揮中台服務價值。

5.資料治理能力。将資料的基本資訊、資料之間的關系、資料的使用情況進行統一化、透明化處理,實作中繼資料驅動的資料開發、資料分析、資料管理全流程。

6.資料資産營運能力。建設企業資料營運中心,負責資料應用建設方法、規範、流程的落地。制定統一的資料應用建設方法,確定資料的一緻性、提供資料的可信度及資料品質。建立資料應用流程,確定各環節有效協同,明确不同角色的分工以及持續對流程進行優化。持續提升資料服務品質,對資料資産品質以及資料消費者的使用進行監控分析,搭建快速響應機制。

業界資料中台建設現狀

資料中台可以快速響應市場需求,提升資料資産價值,助力企業數字化轉型。資料中台涵蓋從資料采集、資料開發、資料整合存儲、資料管理到資料服務和資産價值再現等全流程節點。縱觀行業資料中台實踐,一般以平台為重心,包含資料采集子產品、資料開發子產品、資料整合子產品、資料管理子產品、資料服務子產品的端到端的工具。資料中台從技術架構以及功能層面是相對完備的,但在具體實踐過程中,資料中台的效果卻并不理想。具體問題如下。

1.離業務遠,缺乏抓手,為了中台而中台。金融領域業務複雜、資料多樣,在中台建設過程中往往過度強調大而全反而無法做到有的放矢。

2.系統厚重,建設周期長。資料中台涵蓋從資料采集、整合、存儲、資料服務、資産管理等相關子產品,其系統相對厚重,項目從啟動到投産整體周期比較長,見效比較慢。

3.跟已有BI系統界限不清,推廣阻力大。資料中台的能見度展現在快速支援靈活的資料服務應用,但金融機構内部一般有多套不同的BI工具在使用,資料中台跟這些已有BI系統之間的界限并不那麼清晰,價值不突出,在推廣資料中台的時候阻力比較大。

4.隻建系統,不建相應的組織、機制。有些企業投入了很大的資金建設資料中台,系統很先進,但是根本無法使用起來。資料中台的核心是要提供資料服務,資料服務需要同時建設相應的崗位和比對相應的流程機制作為保障。

以資料能力為核心的資料中台建設

随着盛京銀行資訊化建設發展越來越快,資料的積累呈現爆發式增長,傳統資料倉庫無論在可維護性、開發複雜性上,還是可擴充性等各方面遠遠滿足不了業務的需要。同時,基于盛京銀行日益增長的内外部資料使用需求和管理需要,盛京銀行亟需基于前期資料治理的成果,建設能提供大資料公共基礎服務的企業級資料中台,以實作全行内外部資料的集中與共享,最終促進業務發展,實作資料資源的綜合應用、深度應用,充分發揮資料資産價值,提升企業資料能力,助力全行數字化轉型。

通過資料中台建設,夯實我行資料能力基礎,不斷提升我行資料開發、資料服務、資料管理等能力。建設一站式資料開發平台,為大資料開發人員提供資料同步、資料開發、排程監控、資料服務的全鍊路一站式大資料開發管理與資料資産管理平台;建立資料标簽體系,以業務場景為抓手,建構符合營銷、靈活查詢等業務場景的标簽體系,并實作标簽從産生、應用到消亡的全生命周期管理;建構業務模型,在已整合好的資料基礎上,基于應用需要,進行模型建立,包含客戶模型、存款模型、理财模型、總賬模型等;建構資料服務體系,基于資料中台提供統一的資料服務,可與各個管道進行對接,支撐查詢類、營銷類、決策類、風控類等各類資料應用;建構資料營運體系,在資料治理工作保障下,通過資料資産盤點整合行内資料服務資産,建構資料資産品質監控機制、建設資料消費者服務響應機制,打通資料治理、資料服務之間的協同效應。

1.資料整合平台。用于采集、存儲和處理任意形式的資料資源,同時也可以将平台上的資料分發至其他系統,支援将資料存儲至GaussDB等MPP資料庫中。主要功能包括資料采集、資料存儲、資料處理、資料分發和資料傳輸、資料脫敏等。資料交換平台的資料傳輸的功能是通過Netty架構實作的,在保證易于開發的同時還保證了其應用的性能,穩定性和伸縮性。資料脫敏支援替換、截取、偏移、取整、掩碼、可逆加密,不可逆加密等多種算法。采集過程通過可視化配置方式,靈活實作資料的增量、全量同步功能。在資料同步過程中,可實作流量控制和容錯配置。

2.資料開發平台。資料開發平台是基于資料倉庫的實施方法論,即在業務探索、資訊探索、邏輯資料模型設計、實體資料模型設計、SDM映射文檔設計、ETL腳本開發、測試的基礎上自主開發的一款作業生成工具,并且内置了規範和品質檢查程式,保證文檔、模型、代碼的一緻性和準确性,實作了資料平台的DDL、智能化的控制流程和腳本的自動生成。基礎開發平台為資料類項目開發提供一套自動化管理流程,解決系統調研、模型設計、ETL開發、測試、任務的部署等工作各自獨立的局面,系統采用可視化的架構設計,平台支援多類型資料源內建,并對算法邏輯進行了優化,與中繼資料打通,大大提升了開發效率。

3.資料服務平台。資料服務平台支援自助分析和API服務。自助分析以業務場景為驅動,提供互動式分析,涵蓋客戶、賬戶、産品、管道、交易等多類主題,滿足臨時性、探索性的資料分析需求。API服務支援對API接口的管理,可通過标簽、SQL腳本建立API,也可支援對接模型和算法實驗,生成算法服務API,監控API的調用計量等。

4.資料資産管理平台。資料資産管理平台是全行資料服務的統一出口,進行統一的資料資産管理。通過資産盤點,将行内的客戶标簽、API服務、資料标準、名額資料、固定報表等按照業務邏輯進行梳理形成資料資産目錄。通過資料資産管理平台向全行提供目錄服務,同時按照不同角色進行權限設定,保證資料安全。平台支援統計資料源、資料表數、标簽總數、應用個數;可以按應用價值得分、資料品質得分等次元展示标簽、資料源、資産部門的分布及排名情況,促進資料資産增值;支援單獨對生命周期異常的資料資産進行管理,避免資源浪費。

5.資料資産營運體機制。建構全行資料資産營運管理的組織與協調機制,負責資料資産生命周期管理、資料服務SLA響應、資料治理工作協同等。設定資料資産營運崗,負責資料資産的新增、修訂、廢止管理、跟蹤并解決資産問題,跟進并解決資料消費者的資料需求及問題答疑等。

資料中台價值

盛京銀行資料中台從資料管理組織架構和流程設計、業務場景、平台落地等次元進行整體規劃,結合行内數字化轉型整體實施路徑,以全面提升資料能力為核心進行建設。資料中台以中繼資料為基礎打通各子產品之間的關聯,通過資料采集開發子產品、資料整合子產品、資料管理子產品、資料服務子產品、資料資産子產品的落地,持續提升我行資料能力,不斷滿足各資料角色的多樣資料需求,持續賦能業務發展,不斷推進我行數字化建設程序。

(欄目編輯: 楊昆桦)

繼續閱讀