天天看点

震坤行数据中台建设的一些思考

作者:闪念基因

如今我们打开很多公众号文章都能看到很多有关中台概念的文章,从supercell到阿里的中台建设带来的卓越成果,我们看到的都是一个小前台大中台的一个公司总体架构的设计规划。如今,震坤行也在内部规划开始了自己的数据中台规划与设计。

震坤行数据中台建设的一些思考

有关数据中台

在设计之初,我们也在探索数据中台是什么?数据中台能够解决什么样的问题?

数据中台是涵盖数据仓库,数据湖和大数据平台的综合体。数仓是数据中台的一个重要部分,但传统的数仓更多的是满足上层的数据决策需求,主要体现的是以报表输出为主,使用方比较单一,就算有部分扩展人群,也以小部分运营人员以及数据分析人员为主。

而数据中台涵盖的服务对象更为广泛,其初始的服务对象主要是业务中台,而后可扩大到外部的一些商家企业等,其结合业务的需求会更紧密和繁杂,无法通过报表维度做单一出口的输出,因此需要一个完整的生态数据服务。

从架构上来看,数据中台是有多个组件组成,除存储平台,计算平台,其包含的有开发IDE、workflow、datasync、对外的api数据服务、数据资产管理、oneid建设以及敏捷报表开发等多个建设为一体的整套方案。

那数据中台到底能解决什么问题呢?

传统的企业发展我们势必从业务DB积累到一定量数据后形成了自己的数据仓库,而后借助平台化的思路,我们将一些跨业务应用的数据进行整合与统一,以通用的服务应用到一些数据应用场景上形成了数据业务化,赋能业务跑的更快,从而释放数据价值。

基于以上思考,我们得到的数据中台一个初步模型,如下图所示:

震坤行数据中台建设的一些思考
震坤行数据中台建设的一些思考

数据仓库架构的设计

另外作为数据中台中最重要的数仓层面,我们也做了重新的规划设计。基于震坤行的结构化数据仓库,我们做了如下整体架构的设计:

震坤行数据中台建设的一些思考
震坤行数据中台建设的一些思考

如上图所示,ods层主要是存储层,其中数据表保持与业务数据库的同构,这样比较方便回溯同步过程中的问题,在同步过程中我们会造成脱敏这一步骤。

dwd层主要是数据明细层,这一层次我们会对数据做规范化,例如编码转化,指标的统一格式等。

dwt和dim层主要是对数据主题的一个梳理和抽象出了通用的一些维度表。

dwa层的数据已经是汇总后的数据,涵盖了通用维度和指标数据。

多层数据并非只要dwa层对数据应用提供服务,我们可以轻易的发现,在很多数据应用场景中都有需要明细数据或宽表数据的需求,因此这样的供给流向应如下图所示:

震坤行数据中台建设的一些思考
震坤行数据中台建设的一些思考

数据模型的设计

在数据模型的设计上,我们采用了Ralph Kimball 的维度建模方法,在梳理完业务中台的设计蓝图后,我们结合起来从业务出发细分了各个主题域以及其下的主题,并对主题中所属系统做了大致归类,主题域大致如下图所示:

震坤行数据中台建设的一些思考
震坤行数据中台建设的一些思考

主题以及其所属信息因为涉及保密条例,我们在此抽出供应商管理做个简单介绍,具体如下图所示:

震坤行数据中台建设的一些思考
震坤行数据中台建设的一些思考
震坤行数据中台建设的一些思考

数据中台建设的总结

数据中台的主要价值在起初是赋能业务中台,我们需要完成的主要是如下的两个方面:

1. 业务数据化

1) 业务通用型的数据复用;

2) 从业务这边关心的数据实时追踪埋点收集,从而驱动业务记录数据;

3)更强大的数据处理能力保留下更多的数据。

2.数据业务化

从数据中发现价值赋能业务。包含报表化、定制化分析、自助型分析、数据化运营、AI对外服务。

而后在之后的发展中,数据中台可以更好的放大数据价值,驱动新的业务创新,带动企业增长,并对外输出企业的数据服务。

震坤行的数据中台建设才刚刚起步,数据中台的建设需要多方面的因素与很大的投入,而见效并无法迅速显而易见,数据来源于业务,业务也更需要数据的支持,完善的数据中台可以带领公司实现弯道超车,协助业务更好发展,希望以上数据中台建设的思考能带来一点启发。

作者:技术部-数据组

来源-微信公众号:产品技术团队

出处:https://mp.weixin.qq.com/s/viqOAdTl6ZEKQvn6qLXSPQ