天天看点

数据资源目录编制-数据盘点

数据资源目录是整个数据资产体系中的首要工作,是构建企业数据架构体系的基础工作。可支撑企业建设统一的数据资产目录、数据共享目录、数据服务目录,从而为各业务域提供数据资产全景图。

通过建设数据资源目录,对元数据进行管理和应用,可以支持组织未来的数据治理、数据标准、数据共享、数据服务、数据质量和数据安全等等多种需求。

本文重点介绍数据资源目录概念和内容,同时介绍了数据资源目录搭建的方法和流程。

1、数据资源管理的目标

数据资源目录编制-数据盘点

2、数据盘点的难点

规划做了很多,资产盘点了不少,但是在落地过程中依然困难重重,难见效果。

(1)数据资产实际情况

  • 数据资产盘点消耗大,时间长,无路径。
  • 盘点成果与业务脱节,应用效果差。
  • 无从掌握核心资产。
  • 系统业务厂家支持力度低。

(2)盘点后的元数据问题

  • 数据增长的速度超过了数据管理人数,企业用户现在面临着更多更大的数据来源,因此存在元数据管理人员可用性的瓶颈。
  • 定义不正确、信息不完整、元数据陈旧或无法找到所需信息,它需要更多的元数据来理解存储在数据仓库中的数据资产。
  • 技术人员和业务人员的思维和“语言”存在差异,这使得业务用户获取数据变得更加复杂和困难。

3、数据资源目录的定义与作用

数据资源目录是依据规范的元数据描述数据资源,站在全局视角对所拥有的全部数据资源进行编目,以便对数据资源进行管理、识别、定位、发现、共享的一种分类组织方法,从而达到对数据的浏览、查询、获取等目的。

数据资源目录的建立能够准确浏览组织内所记录或拥有的线上、线下原始数据资源,如电子文档索引、数据库表、电子文件、电子表格、纸质文档等。数据资源目录是实现组织内部数据资产管理、业务协同、数据共享、数据服务,组织外部数据开放、数据服务的基础和依据。

数据资源目录建设首先定义数据资源目录元数据、目录分类编码等,制定元数据和目录分类编码标准规范,然后对组织内部数据资源进行全面调查和盘点,依据事先约定好的元数据和分类标准梳理数据资源目录。

3.1数据资源目录的定义

(1)通过语义层解决业务人员“理解”的问题

创建数据资源之间的关联以获得对数据更全面的视角;利用语义实现更广泛的对数据业务理解的一致性,避免理解的偏差。

(2) 通过目录服务解决业务人员“查找“的问题

目录服务将有关现实世界中的事物(如人、企业、计算机等等)的信息存储为具有描述性属性的对象。人们可以使用该服务按名称查找对象或者像使用黄页一样,可使用它们查找。数据资源目录是对数据存储对象的描述,让人们能够方便、快速的找到所需要的数据。

(3)通过数据安全解决业务人员“权限”问题

数据资源目录应建立数据分级和数据共享负责人制度,需要结合企业的实际数据管理业务特性,建立起数据分级制度,明确数据权威负责部门、对应的个体负责人等。明确数据的范围边界和使用方式,清理数据管理及共享开放的义务和权利。

3.2数据资源目录的作用

  • 为数据平台建设提供参考依据。
  • 为数据标准管理提供输入。
  • 为跨部门数据共享提供数据目录。
  • 为其他系统数据共享提供数据服务

4、数据资源盘点表

(1)系统信息采集表

数据资源目录编制-数据盘点

系统信息采集表1

数据资源目录编制-数据盘点

系统信息采集表2

(2)元数据采集表

数据资源目录编制-数据盘点

业务元数据

数据资源目录编制-数据盘点

技术元数据

数据资源目录编制-数据盘点

管理元数据

5、数据资源目录搭建的方法论

  • 自顶向下就是根据企业业务价值链及数据应用场景厘清主题域之间的逻辑关系,然后不断进行细分;再针对业务对象进行梳理,定义各个业务对象下的逻辑数据实体;最后盘点每个逻辑数据实体包含的属性,包括属性名称、属性定义、计量单位、值域范围等内容。
  • 自下而上补充则是对企业所有的信息系统现状调研,摸清有哪些数据,存储在哪些地方;再对信息系统数据进行统一采集和存储;最后对采集的系统数据项进行盘点,包括字段名称,类型、长度、约束等内容

(1)确定资产盘点范围和系统

围绕企业相关的业务主线涉及业务系统,并结合企业已有资产内容,明确盘点数据现状、数据表范围等信息。

根据数据资产盘点系统范围,开展相关源系统现状调研,源系统盘点范围梳理、源端系统盘点范围确认、数据盘点工作量评估、业务功能模块梳理。

(2)数据资源盘点

结合企业现有业务、信息系统在运和数据平台现有数据资产汇聚情况,深入调研各专业业务现状及系统运行现状,梳理各系统数据库、表、字段等基础信息,形成层次清晰、覆盖全面的专业数据库表目录。

根据数据盘点工作范围和源端系统收集情况,利用企业相关盘点工具开展数据关联关系确认,对工具无法识别、未识别关联关系的数据表进行线下梳理、增量完善分批次开展数据关联关系梳理工作,然后完成数据资源盘点工具中的数据关联关系。

然后根据业务模块梳理成果,按照业务模块与数据表的关联关系开展梳理工作,形成业务关联关系清单。

最后根据无效字段、数据关联关系、业务关联关系盘点结果,将最终盘点结果完善到数据资源盘点工具中。

数据资源目录梳理时,将盘点好的数据资源汇总构成数据资源目录的同时,也要从数据资源内容层面进行梳理,将数据资源依据业务进行分类汇总融合。

数据资源目录编制-数据盘点

(3)数据字典核查

利用企业现有数据资源盘点工具,对相关业务系统数据存在的表描述、字段描述缺失、字段描述有误情况进行核查,然后反馈源业务系统厂商和数据中心管理人员对问题进行补充及完善。

(4)数据资源构建

针对新建业务应用和新建系统间数据需求,统一基于数据平台的数据服务实现,按照业务应用、业务系统的数据获取需求辅导数据管理人员构建相关资产服务,形成规范化的数据资产管理目录。

(5)数据资产发布

辅助企业按照业务机制、数据类型等建立线上数据资源目录审批及发布流程,支撑数据资源目录的规范化管理和维护机制。

最终通过构建统一数据资源目录体系,加强数据目录优化和完善,切实解决数据描述不统一、颗粒度不一致等问题,支撑各业务部门、各单位快捷查询和定位数据,为后续制定数据标准、建立数据规范、开展数据治理、实现数据共享奠定基础。

继续阅读