天天看点

吴铁男:构建企业级数据中台,提升全行数据能力——盛京银行企业级数据中台建设实践

作者:金融电子化

中国银保监会《关于银行业保险业数字化转型的指导意见》中提出目标:到2025年,银行业保险业数字化转型取得明显成效。数字化金融产品和服务方式广泛普及,基于数据资产和数字化技术的金融创新有序实践,个性化、差异化、定制化产品和服务开发能力明显增强,金融服务质量和效率显著提高。数字化经营管理体系基本建成,数据治理、科技创新能力大幅提升,网络安全、数据安全和风险管理水平全面提升。

吴铁男:构建企业级数据中台,提升全行数据能力——盛京银行企业级数据中台建设实践

盛京银行首席信息官 吴铁男

数字化转型是目标,

数据能力的提升是关键手段

盛京银行结合行内数字化转型战略,以企业级数据中台建设为基础,构建全行数据能力体系。

1.数据采集交换能力。将分散的若干应用信息系统源数据进行采集,通过交换平台的建设来实现信息交换,完成数据的抽取、清洗、加载,构造统一的数据处理和交换。

2.数据整合存储能力。通过数据调度平台、数据开发平台、外部数据平台等不同的建设模式,构建全行统一的数据整合存储模型,实现行内数据、外部数据的统一加工、存储与服务,建立全行统一的面向业务的数据模型。

3.数据开发管理能力。建立项目—任务—模型—开发—测试—上线的全流程管理,其中数据建模模块与数据管控平台全面对接,实现数据标准的落地,ETL开发实现在线配置与程序生成,程序部署实现自动化打包以及版本管理。

4.数据服务共享能力。以多样化服务(如标签、指标、画像、模型、报表、数据产品、自助分析等等)为视角,整合集成数据中台各种能力,发挥中台服务价值。

5.数据治理能力。将数据的基本信息、数据之间的关系、数据的使用情况进行统一化、透明化处理,实现元数据驱动的数据开发、数据分析、数据管理全流程。

6.数据资产运营能力。建设企业数据运营中心,负责数据应用建设方法、规范、流程的落地。制定统一的数据应用建设方法,确保数据的一致性、提供数据的可信度及数据质量。建立数据应用流程,确保各环节有效协同,明确不同角色的分工以及持续对流程进行优化。持续提升数据服务质量,对数据资产质量以及数据消费者的使用进行监控分析,搭建快速响应机制。

业界数据中台建设现状

数据中台可以快速响应市场需求,提升数据资产价值,助力企业数字化转型。数据中台涵盖从数据采集、数据开发、数据整合存储、数据管理到数据服务和资产价值再现等全流程节点。纵观行业数据中台实践,一般以平台为重心,包含数据采集模块、数据开发模块、数据整合模块、数据管理模块、数据服务模块的端到端的工具。数据中台从技术架构以及功能层面是相对完备的,但在具体实践过程中,数据中台的效果却并不理想。具体问题如下。

1.离业务远,缺乏抓手,为了中台而中台。金融领域业务复杂、数据多样,在中台建设过程中往往过度强调大而全反而无法做到有的放矢。

2.系统厚重,建设周期长。数据中台涵盖从数据采集、整合、存储、数据服务、资产管理等相关模块,其系统相对厚重,项目从启动到投产整体周期比较长,见效比较慢。

3.跟已有BI系统界限不清,推广阻力大。数据中台的能见度体现在快速支持灵活的数据服务应用,但金融机构内部一般有多套不同的BI工具在使用,数据中台跟这些已有BI系统之间的界限并不那么清晰,价值不突出,在推广数据中台的时候阻力比较大。

4.只建系统,不建相应的组织、机制。有些企业投入了很大的资金建设数据中台,系统很先进,但是根本无法使用起来。数据中台的核心是要提供数据服务,数据服务需要同时建设相应的岗位和匹配相应的流程机制作为保障。

以数据能力为核心的数据中台建设

随着盛京银行信息化建设发展越来越快,数据的积累呈现爆发式增长,传统数据仓库无论在可维护性、开发复杂性上,还是可扩展性等各方面远远满足不了业务的需要。同时,基于盛京银行日益增长的内外部数据使用需求和管理需要,盛京银行亟需基于前期数据治理的成果,建设能提供大数据公共基础服务的企业级数据中台,以实现全行内外部数据的集中与共享,最终促进业务发展,实现数据资源的综合应用、深度应用,充分发挥数据资产价值,提升企业数据能力,助力全行数字化转型。

通过数据中台建设,夯实我行数据能力基础,不断提升我行数据开发、数据服务、数据管理等能力。建设一站式数据开发平台,为大数据开发人员提供数据同步、数据开发、调度监控、数据服务的全链路一站式大数据开发管理与数据资产管理平台;建立数据标签体系,以业务场景为抓手,构建符合营销、灵活查询等业务场景的标签体系,并实现标签从产生、应用到消亡的全生命周期管理;构建业务模型,在已整合好的数据基础上,基于应用需要,进行模型建立,包含客户模型、存款模型、理财模型、总账模型等;构建数据服务体系,基于数据中台提供统一的数据服务,可与各个渠道进行对接,支撑查询类、营销类、决策类、风控类等各类数据应用;构建数据运营体系,在数据治理工作保障下,通过数据资产盘点整合行内数据服务资产,构建数据资产质量监控机制、建设数据消费者服务响应机制,打通数据治理、数据服务之间的协同效应。

1.数据整合平台。用于采集、存储和处理任意形式的数据资源,同时也可以将平台上的数据分发至其他系统,支持将数据存储至GaussDB等MPP数据库中。主要功能包括数据采集、数据存储、数据处理、数据分发和数据传输、数据脱敏等。数据交换平台的数据传输的功能是通过Netty框架实现的,在保证易于开发的同时还保证了其应用的性能,稳定性和伸缩性。数据脱敏支持替换、截取、偏移、取整、掩码、可逆加密,不可逆加密等多种算法。采集过程通过可视化配置方式,灵活实现数据的增量、全量同步功能。在数据同步过程中,可实现流量控制和容错配置。

2.数据开发平台。数据开发平台是基于数据仓库的实施方法论,即在业务探索、信息探索、逻辑数据模型设计、物理数据模型设计、SDM映射文档设计、ETL脚本开发、测试的基础上自主开发的一款作业生成工具,并且内置了规范和质量检查程序,保证文档、模型、代码的一致性和准确性,实现了数据平台的DDL、智能化的控制流程和脚本的自动生成。基础开发平台为数据类项目开发提供一套自动化管理流程,解决系统调研、模型设计、ETL开发、测试、任务的部署等工作各自独立的局面,系统采用可视化的架构设计,平台支持多类型数据源集成,并对算法逻辑进行了优化,与元数据打通,大大提升了开发效率。

3.数据服务平台。数据服务平台支持自助分析和API服务。自助分析以业务场景为驱动,提供交互式分析,涵盖客户、账户、产品、渠道、交易等多类主题,满足临时性、探索性的数据分析需求。API服务支持对API接口的管理,可通过标签、SQL脚本创建API,也可支持对接模型和算法实验,生成算法服务API,监控API的调用计量等。

4.数据资产管理平台。数据资产管理平台是全行数据服务的统一出口,进行统一的数据资产管理。通过资产盘点,将行内的客户标签、API服务、数据标准、指标数据、固定报表等按照业务逻辑进行梳理形成数据资产目录。通过数据资产管理平台向全行提供目录服务,同时按照不同角色进行权限设置,保证数据安全。平台支持统计数据源、数据表数、标签总数、应用个数;可以按应用价值得分、数据质量得分等维度展示标签、数据源、资产部门的分布及排名情况,促进数据资产增值;支持单独对生命周期异常的数据资产进行管理,避免资源浪费。

5.数据资产运营体机制。构建全行数据资产运营管理的组织与协调机制,负责数据资产生命周期管理、数据服务SLA响应、数据治理工作协同等。设置数据资产运营岗,负责数据资产的新增、修订、废止管理、跟踪并解决资产问题,跟进并解决数据消费者的数据需求及问题答疑等。

数据中台价值

盛京银行数据中台从数据管理组织架构和流程设计、业务场景、平台落地等维度进行整体规划,结合行内数字化转型整体实施路径,以全面提升数据能力为核心进行建设。数据中台以元数据为基础打通各模块之间的关联,通过数据采集开发模块、数据整合模块、数据管理模块、数据服务模块、数据资产模块的落地,持续提升我行数据能力,不断满足各数据角色的多样数据需求,持续赋能业务发展,不断推进我行数字化建设进程。

(栏目编辑: 杨昆桦)

继续阅读