原文《数字政府智慧政务大数据治理体系建设方案》WORD格式。
数据标准管理
数据标准规范了业务术语，元数据，参考数据，基础数据，指标数据的规范定义、获取原则、管理要求等。 包括设计基础类和分析类数据标准，制定数据标准管理制度和流程，明确数据标准管理组织和职责，以明确的组织、职责、流程设计为前提，调动业务部门、技术部门和系统技术团队共同参与数据标准设计，建立全局数据标准流程，制定总体落地计划，推动数据标准落地执行，增强内部对数据标准的理解，指导信息化建设中对数据标准的参照。
数据标准管理规范
数据标准管理体系主要包含数据标准管理、落地实施机制、及数据标准管理平台维护三部分。
平台通过对数据标准管理、落地实施机制、及数据标准管理平台维护三部分进行数据资源管理，制定数据标准管理制度和流程，明确数据标准管理组织和职责，以明确的组织、职责、流程设计。落地实施机制从规范推广、技术平台支撑两方面保障；数据标准平台维护主要包括建设数据标准技术平台，支撑数据标准日常管理工作两方面。
- 数据标准管理机制设计
设计基础类和分析类数据标准，制定数据标准管理制度和流程，明确数据标准管理组织和职责，以明确的组织、职责、流程设计为前提，调动业务部门、技术部门和系统技术团队共同参与数据标准设计，建立企业级数据标准流程，制定总体落地计划，推动数据标准落地执行，增强对数据标准的理解，指导信息化建设中对数据标准的参照。
- 数据标准分类规范
数据标准是对数据的名称、含义、结构、取值等信息的统一定义，达成对数据的业务理解、技术实现的一致性。
基于数据模型理论将数据标准延伸至5个分类，涵盖技术、业务多个视角。
业务术语：从一致性、通用性等方面统一业务术语定义。
数据项标准：用来描述实体的某种属性，包含数据项的名称、编号、别名、简述、数据项的长度、类型、数据项的取值范围。
参考数据标准：识别参考数据，并建立参考数据的统一标准样例，使参考数据可在不同系统中被使用而保持统一标准值。
主数据标准：主数据编码是应用系统中的重要数据类型之一，通常用来描述业务操作的具体对象及其特征，注重唯一性，特征一致性，稳定性及有效性。
唯一性：在一个系统，一个平台甚至整个范围内同一主数据编码要求具有唯一的识别标志（代码，名称，特征描述等），用以明确区分业务对象，业务范围和业务的具体细节
特征一致性：主数据在不同系统中，均按统一标准出现
稳定性：主数据相对稳定，本身属性不会随交易过程而被修改
有效性：贯穿该业务对象的全生命周期过程，只要该业务对象存在，则此数据不会丧失有效性
指标数据标准：需要收集指标的管理信息、业务定义、以及维度定义，需要兼顾通用性和个性化，个性化方面支持各使用部门个性化定制
- 数据标准设计规范
以分析型应用建设和操作型应用集成为导向，两套方法结合，建立数据标准设计体系
分析型应用建设导向：以分析应用指标范围为依据，重点结合业务战略及管理要求，自上而下追溯数据源，聚焦数据标准范围。
操作型应用集成导向：自上而下的原则，基于实际业务流程及操作，重点识别跨业务、跨流程的集成点及关键步骤，分析提炼共享数据，完成业务流程和应用共享的数据映射，删除冗余、非重点数据，精简数据标准建设范围。
数据元管理
数据元管理主要包括数据元新增、数据元导入、数据元发布、数据元修改、数据元删除、数据元停用、数据元检索等功能。同时支持数据元版本管理及版本之间的差异核对功能以及支持基于基础库、主题库的元数据快速创建标准数据元，并建立和相关元数据的关联关系。
标准代码配置
标准代码配置支持代码的分类、标准代码项的新增、导入、导出功能，提供了标准代码维护的能力；可关联到国标、地标代码字典，为数据的规范性提供了更加详细的描述，为后续的数据质量、数据标准等工作提供支撑。
标准数据元具有唯一的编码（标准代码），按照实际的业务领域进行分类之后，可以形成带有业务领域特征的相关编码，比如“FR00001”代表法人相关的数据元标准代码。
常用规则配置
数据元的值有部分需要满足固定格式的标准，治理过程中需要通过固定的值组成规则来规范数据源值的格式，例如身份证、电话号码、电子邮箱等格式。包括通用规则及各部门根据自身需求实际制定的规则，常用规则配置会针对公共数据的特性内置部分常用的规则，同时提供了规则的配置修改能力。
元数据管理
按照数据整合的层次结构、主题域划分，需要实现各层的各种对象，如表、存储过程、索引、数据链、函数和包等的管理。清晰的表示各层次结构之间的数据流程、各对象之间的关系，以及向外提供的各类数据服务的信息。
元数据管理内容
元数据内容涉及到整个大数据资源平台的各个数据环节，包括数据采集、逐层加工稽核，数据服务到最终应用展现的处理，元数据管理贯穿了整个流程，并与各环节实现有效互动。
元数据管理分类
按照元数据的定义分类，综合价值分析系统元数据管理分为业务元数据、技术元数据、管理元数据三类。其中：
（1）业务元数据
- 使用者的业务术语所表达的数据模型、对象名和属性名；
- 访问数据的原则和数据来源；
- 系统所提供的分析方法及公式、报表信息；
- 对业务元数据来源的管理和差异性对比；
（2）技术元数据
- 系统结构的描述（各个主题的定义，星型模式或雪花型模式的描述定义等）；
- 整合数据层的机构单位的数据模型描述（以描述关系表及其关联关系为形式）；
- 对数据稽核规则的定义、汇总数据层模型描述与装载描述（包括维度、层次、度量以及相应事实表、概要表的抽取规则）；
（3）管理元数据
系统内部用户的数据处理操作规则，包括抽取、转换、加载、汇总等各类操作的用户权限、操作时间窗管理、异常处理规则等；
外部访问用户（主要针对该系统对外提供的数据服务）的操作规则和方式，包括所提供的数据服务接口、数据访问方式、操作；
各类用户的操作记录日志，包括操作用户、登录方式、操作对象、持续时间、操作类型等相关信息。
元数据管理组织
为了保障元数据管理目标的顺利达成，需要从组织架构层面建立专业的元数据管控组织予以保障，确保元数据管控要求得以落实、制度得以执行。
元数据管理流程
元数据维护管理流程是以需求提出作为开始，经历规划设计、开发实施、需求验收等项目阶段的元数据建立和校验，最后实现元数据的发布和运维管理。在这些阶段中，元数据管控组负责元数据信息的全生命周期流程的管理和监控。
元数据管理功能
元数据管理包括元数据基础数据管理和元数据应用，由元数据自动获取、元数据检索、数据模型管理、元数据管理、血缘关系等功能组成等。
- 元数据管理功能架构
- 元数据自动获取
对元数据获取数据源以及这些数据源之间的关系进行集中登记管理，并形成自动获取数据源的全局视图，实现元数据自动获取数据信息。
要实现元数据的自动获取，需要在集成的元数据平台中配置自动获取策略和调度时间等，使元数据能够按预设的调度策略触发相应的元数据自动获取过程，满足元数据自动获取的时效性。
调度策略包括时间周期触发、事件触发两种方式。例如，在每周星期一凌晨00:00到01:00之间触发数据资源平台元数据的自动获取过程，或者在数据处理程序更新后12小时内触发相应的映射关系元数据自动获取过程。
- 元数据维护
包括元数据的定义、变更及版本管理，对主机信息、数据库信息、用户信息、数据对象信息、业务规则信息、加工逻辑等进行维护和管控。
- 元数据扫描
支持以手动或定时的方式扫描指定的数据库资源，并提取和解析相关的信息在比较扫描数据和原有数据的差异后自动将差异数据维护到指定的元数据目录。
- 元数据检索
在元数据管理首页用户通过输入关键字后，系统采用全文检索的方式迅速查找和关键字匹配的权限范围内的元数据信息，并将信息返回给用户。用户能够通过展示的路径信息快速定位到元数据组织树上的节点。
- 元数据版本
版本管理分为元数据对象版本管理与基线版本管理两种类型。
元数据对象版本：对元数据的每次提交形成版本（上一版本形成历史版本），提供历史版本间，历史版本与当前版本对比功能；
基线版本，对某一阶段产生的元数据对象形成数据集，提供不同阶段产生的数据集的版本比较
- 权限管理及查询
统一实现数据库的访问和操作管控，对用户进行角色权限、对象权限、数据权限等方面的管控和查询；
- 元数据的导入/导出
在系统层面实现元数据的导入/导出功能，以保证数据模型、数据对象能够灵活的迁移，支持模型间的检查和比对，以便于数据模型的维护和扩展。
元数据血缘分析
平台提供血缘分析功能，通过可视化的图形界面，对数据资产及所有来源的关联数据资产进行展示，可帮助用户分析数据来源和定位数据质量问题。
- 元数据血缘分析
元数据分析算法包括以网状模式展示对象等血缘关系和以父子依赖关系展示对象等有向血缘关系。
数据质量管理
数据质量管理主要包含对数据完整性、准确性、鲜活性、权威性的分析和管理，并对数据进行跟踪、处理和解决，实现对数据质量的全程管理，提高数据的质量。
能够提供规则配置、质量监控、问题处理等功能，及时发现并分析数据质量问题，不断改善数据的使用质量，从而提升数据的可用性，挖掘数据更大的价值。
质量模型配置
数据质量分析的基本单元，一个质量模型由可以由一套实体表、一套规则以及多套质检方案组成，用户在定义质检方案时，可以根据业务需要选择实体表和规则，方案与方案之间相互独立，互不干扰。通过执行模型下的质检方案，可以得到用户关心的数据质量分析结果，如问题数据明细信息、数据质量分析结果等。
质量规则管理
数据质量规则是数据质量审核的逻辑校验标准，是数据质量监控管理的基础。
系统支持多种规则类型，提供了全方位的视角来为用户解析数据质量。一套规则能在多套方案中复用，在保证多角度准确数据质量分析的前提下，大大减少了用户投入的精力与时间，为用户提供了一种灵活而全面的数据质量分析方式。系统包括以下质量规则：
- 空值检查
空值检查用于检查关键字段非空
- 值域检查
值域检查用于检查关键字段的取值范围，支持数值型、字符型、日期型字段检查
- 规范检查
规范检查用于检查指标值的格式是否规范，支持身份证、手机号码、邮箱、日期等多种数据类型的检测，支持自定义正则表达式
- 逻辑检查
逻辑检查用于检查指标之间是否满足一定的逻辑关系
- 重复数据检查
重复数据检查用于检查表内是否有重复数据。
规则算法：groupby重复依据字段，count(1)>1的算重复
- 及时性检查
及时性检查，用于检查数据的及时性，衡量数据抽取或数据上报是否及时。
规则算法：算出上报时间字段的值，如果没写上报时间表达式，则最佳上报时间都是以下一期的第一天做为参照依据，再将上报时间与最佳上报时间做为比较，看是否在允许误差最大天数范围内
- 缺失记录检查
记录缺失检查用于判断记录是否完整，是否缺少数据行。根据比照表字段检查目标字段是否缺少数据，检查实体表字段与比照字段的数据量、数值是否完全一致。
规则算法：对检查表字段和比照字段进行groupby并求count，根据两个字段groupby的结果来outerjoin，count不相等或检查字段值和比照字段值有一个为空时，此行结果都算错
- 引用完整性检查
引用完整性检查用于判断实体表中的数据是否完全存在于比照表中。实体表检查字段中的数据必须全部存在于比照表的比照字段中。
规则算法：实体表的检查字段关联distinct后的比照表的字段，关联后，如果比照字段为空，则检查字段的值非来源于比照表，则该规则对应结果为false
方案配置调度
依据质量规则执行的实际治理需求，通过图形化界面配置多种质检规则组成可执行方案，依据执行规则管控平台自动执行质量规则检查。质量规则执行触发方式支持按固定时间周期（如月、周、日）、事件触发等执行方式，并且在控制台可以查看质检方案执行历史，对数据质检全流程进行管控。
- 界面配置
通过图形化界面配置多种质检规则组成可执行方案，通过界面进行数据传参。
- 触发方式
质量规则执行触发方式支持按固定时间周期（如月、周、日）、事件触发等执行方式。
- 全流程管控
固定时间监控业务系统运行的各类数据，及时发现并整改数据异常，完善系统运行机制。
质检结果查看
基于质检方案执行过程，反馈每次质检产生的异常数据，根据问题数据所配置的规则提供问题详情、比对及整改重检的能力。结合实际可执行和可实现的原则，分析系统存在的数据质量问题：
- 分析与检测
着重于在数据的定义基础上，利用数据的逻辑和业务规则度数据质量进行检测和分析。
- 整改与重建
着重与在数据的分析和检测基础上，利用起结果对数据，特别是源数据的数据管理提出整改意见，重建数据质量的管理能力。
具体系统方案如下:
质检分析报告
基于质检方案及质检结果，对每次质检的检查数、问题数、整改数等进行统计，形成统计图。支持按日、按月统计及柱状图、折线图。
数据工厂管理
- 支持可视化的程序编排，数据处理流程开发，使程序开发更简便，降低数据开发周期、开发成本；
- 平台提供数据处理各项能力的开发功能，提供包括数据采集、处理、装载、分发、校验等功能开发；
- 平台具备执行标准的开源 Hadoop 接口调用能力，以及基于个性化 Hadoop 接口封装能力；
- 根据不同的数据生产环境，具备不同的数据处理能力，可根据自身需求，基于平台扩展自主的数据处理功能
- 可视化程序开发可结合数据标准化体系，整体数据开发流程与标准化管控切实对接。
流数据处理
平台支持对流数据的处理与管理，流数据的处理过程为数据实时采集-->数据实时计算-->数据实时查询服务。
- 实时采集
主要应对海量数据进行高性能的实时数据采集处理，以实时、高效、低延迟为核心驱动点，具备毫秒级数据触发能力，实现秒级单位时间窗口的数据统计分析能力。需要支持的数据源类型可以分为以下四类：
- 网络协议数据源，包括Socket、JMS、HTTP、HTTPS等常见类型的网络协议。
- 本/异地文件数据源，包括目录扫描、文本文件，FTP，SDTP等数据。
- 分布式文件系统数据源，包括HDFS，HBase，Hive等数据。
- 关系型数据库数据源，包括DB2，Teradata，vertica等数据。
- 支持物联网网关采集：将物联网数据从物联网网关接入，提供协议适配和标准化处理，以及满足海量物联网数据的入湖。
来自多种数据源的实时信息，因为其时效性高，数据的有效期短暂，需要实时提取和分析来自各种分布式系统的信息，并分发到不同的应用中进行处理。同时，系统必须高效、可靠、可管理、可监控并且具有一定的对外开放能力。
- 流数据引擎
开发提供数据融合，统计，分析的高速处理能力，对于实时性要求较高的数据计算提供支撑的功能
- 流数据计算模型管理
开发提供对已设计完成的数据计算模型进行申请，注册，提交，执行，监控的统一管理的功能
- 流数据计算公共模型开发
开发提供对于场景需求较多的数据模型可开发公共模型的功能，公共模型可以供其他用户调用，可重复使用的功能
- 流数据计算结果接口开发
开发提供对流数据计算结果接口开发功能和计算结果数据可通过接口形式供可视化调用或其他应用的功能
- 流数据计算模型查询
开发提供流数据计算模型查询功能，通过对流数据计算模型发布可以是其他用户查看计算模型逻辑，进行模型再利用，减少其他用户开发工作量的功能。
数据开发平台
数据开发完成多种环境的全量与增量数据处理能力，简化开发过程。统一数据开发入口，支持可视化开发和原生态开发两种开发模式，实现原生态开发与可视化编排的互相转换，提升开发效率。
- 支持可视化开发
- 支持原生态开发
开发工具是用于配置中介流程、组件及适配器开发工具，它提供了完整的从设计、开发、配置到打包部署整个阶段的GUI（Graphical User Interface，图形用户界面）工具, 帮助用户快速利用和充分发挥数据服务集成管理系统的服务中介功能。
统一调度管理
平台支持对数据开发与管理任务的统一调度，包括流程设计与管理、调度策略管控、任务调度控制、标准化控件等功能模块，通过作业/任务管理、作业/任务调度、作业/任务执行实现对采集、转换、加载、调度、监控，从而形成统一的调度与管理。
以一个业务量生产过程为例。传统做法是通过接口通信表或时序依赖进行协同生产。在统一调度平台中以数据流作为驱动,通过控制中心进行作业命令下发，状态收集进行控制，达到各个异构系统，多个子系统的协同调度。
数据资产管理
数据资产管理平台主要负责对数据资产进行统一注册和管理，实现数据资产体系化管控。主要包括数据资产注册管理、数据资产分类管理、数据资产查询、数据地图、数据资产分析、数据资产版本管理、数据资产变更管理、资产运行审计管理、资产统计分析，接口管理、数据质量等功能。
数据资产注册管理
平台提供数据源管理、数据资产注册管理、数据资产注册审核、生成数据库管理等功能。提供采集器、在线维护、自动注册接口等方式来注册数据资产。
- 数据源管理
平台提供对数据源注册管理的功能，主要是对数据提供者所在数据库、Hadoop库的注册管理。
- 数据库注册管理，主要负责数据库基本信息的注册配置，包含但不限于以下内容：
- 数据库类型
- 数据库版本
- 数据库服务IP
- 数据库服务端口
- 数据库SID
- 数据库表空间
- ……
- Hadoop库注册管理，主要负责Hive库基本信息、HDFS文件信息的注册配置，包含但不限于以下内容：
- HIVE数据库服务IPHIVE数据库服务端口HDFS文件系统服务IPHDFS文件系统服务端口……
- 数据资产注册管理
平台提供对数据资产注册管理的功能，主要包括对表、视图、序列、文件、ETL过程、Hadoop等进行注册管理。
1）业务系统信息收集与资产注册，包含但不限于以下内容：
- 业务系统名称
- 业务系统描述
- 业务系统服务IP
- 业务系统服务端口
2）数据库信息采集与资产注册，包含但不限于以下内容：
- 数据库类型
- 数据库版本
- 数据库服务IP
- 数据库服务端口
- 数据库SID
- 数据库表空间
3）表结构信息采集与资产注册，包含但不限于以下内容：
- 表名称
- 表中文名称
- 业务信息描述
- 表结构定义
- 表数据处理逻辑
4）视图信息采集与资产注册，包含但不限于以下内容：
- 视图名称
- 视图中文名称
- 业务信息描述
- 视图结构定义
5）字段信息采集与资产注册，包含但不限于以下内容：
- 字段名称
- 字段中文名称
- 字段详细描述
- 字段类型定义
6）指标信息采集与资产注册，包含但不限于以下内容：
- 指标名称
- 指标中文名称
- 指标业务描述
- 指标统计口径
- 指标统计周期
7）报表信息采集与资产注册，包含但不限于以下内容：
- 报表名称
- 报表中文名称
- 报表业务描述
- 报表格式
- 报表统计周期
8）hadoop平台信息采集与资产注册，包含但不限于以下内容：
- Hadoop集群名称
- Hadoop集群描述
- Hadoop集群主节点IP
- Hadoop集群从节点IP
9）hadoop hive库表信息采集与资产注册，包含但不限于以下内容：
- Hive数据库服务IP
- Hive数据库服务端口
- Hive表名称
- Hive表中文名称
- Hive表业务描述信息
- Hive表结构定义
10）ETL过程信息采集与资产注册，包含但不限于以下内容：
- ETL作业名称
- ETL作业业务描述信息
- ETL过程处理逻辑
- ETL作业运行周期
- ETL来源表名称
- ETL来源文件路径
- ETL目标表名称
- ETL目标文件路径
11）文件接口信息采集与资产注册，包含但不限于以下内容：
- 接口文件名称
- 接口文件业务描述信息
- 接口文件路径
- 接口文件大小
- 接口内容与表字段映射关系
12）OLAP信息采集与资产注册；
13）webservice接口信息采集与资产注册，包含但不限于以下内容：
- webservice接口名称
- webservice接口描述
- webservice接口负责人
- 数据资产注册审核
平台提供对数据资产注册的审核功能，通过在平台中定义数据资产的相关命名规范，可实现对数据资产的自动审核，主要包括对表/视图、文件等数据资产进行审核分析。当数据资产命名不符合规范时，平台会提示错误信息，并阻止资产的注册操作，当数据资产命名审核通过后，交由相应的审核人进行审核，保障数据资产的完整和规范性。
- 生成数据库管理
平台可基于数据资产（表），通过在平台中指定生成表的数据库及表空间等信息后自动生成相应数据库的建表脚本并在数据库中生成数据表，如下图所示：
数据资产分类管理
平台提供对数据资产的分类管理功能，在数据资产注册同时或注册后，可在数据资产上标识不同的属性标签，通过属性标签完成对数据资产的分类整理，为资产查询、资产统计、资产盘点等功能提供支撑。
常见的属性标签包括：
- 资产类型：数据表、文件、接口、指标、报表等
- 数据来源：B域、O域、M域等
- 主题域：参与人、服务、资源、事件、市场监管、企业管理、公共。
- 所属层级：接口层、轻度汇总层、中度汇总层、高度汇总层、应用层等
- 存储周期：按年、按季度、按月、按周、按日等
- 数据资产分类体系
在数据资产的分类管理中，平台按照数据资产的生命周期对数据资产进行分层，即输入层、加工层和输出层。输入层是指数据从各个数据源抽取到大数据平台，输出层是指大数据平台数据输出到外部渠道或内部渠道，加工层指数据在大数据平台内进行加工处理的过程。
- 数据资产分类查询
平台提供数据资产分类查询功能，可通过选取分类标签中具体的属性标签对数据资产进行筛查。
- 数据资产分类统计
平台提供数据资产分类统计功能，可对各种标签属性的数据资产进行分类统计，并形成统计报表，供使用人员查询不同属性数据资产的整体统计情况。
数据资产目录管理
- 数据资产目录
资产目录是对平台元数据的有序组织，是记录数据体系的保障数据类目是目录信息与服务、保障与支撑所组成的一个整体针对资产的合理组织，需要对资产进行对应分类，如部门类目、主题类目、行业类目等，可对该类目下资产数据进行搜索、展现以及权限申请。
- 数据资产查询
平台提供数据资产查询功能，主要分为通用查询和高级查询两种方式。
- 通用查询：通过在通用查询搜索框中输入查询关键字，可对数据资产进行模糊查询。
- 高级查询：根据指定数据资产属性信息的具体值对数据资产进行精确查询，包括数据资产名称、资产编码、资产分类标签等属性。
数据智能分析
建设数据分析支撑子平台，通过提供数据探索工具，建立数据标签体系，并构建数据血缘与数据关联度分析能力，支撑对所归集的数据进行全面、多维、深度的分析，进而满足各类业务的应用需求，推动数据的开放创新应用，实现数据的社会化应用价值。
数据标签管理
平台提供数据标签管理功能，可对已导入的数据资产标签进行增加、修改、删除以及分类标签的导入导出功能，满足数据资产业务属性随业务发生变化时数据资产标签能够灵活变化。
标签模板管理
平台提供数据标签模板管理功能，可通过下载功能将标签模板导出为Excel文件格式，对数据标签进行编辑整理后批量导入到平台中，并提供对标签模版的增加、修改、删除等操作。
基础标签管理
开发以列表形式和智能推荐形式将平台中设置的基础标签进行呈现列表形式是将所有的基础标签一一列出，并可以按照热度进行排序智能推荐形式是指根据最近时间段内的标签的访问频率、搜索频率等，以轮播的形式循环展现热门标签的功能。
标签关系展现
开发通过标签将相关联的数据目录关联在动图中展现给用户，形成丰富数据盛筵的展示效果，做到通过一张图就可以将某一条数据的关联数据、以及数据之间的关系全部展示出来的功能。
数据血缘分析
提供血缘分析功能，通过可视化的图形界面，对数据资产及所有来源的关联数据资产进行展示，可帮助用户分析数据来源和定位数据质量问题。
数据探索工具
平台提供了数据探索工具，支持用户通过数据探索工具对拥有权限的数据进行在线自助数据查询，工具记录访问日志。
在平台上用户可以在此页面通过各种过滤条件查询出自己权限范围内满足条件的报表，并进行对应的设为首页及关注操作。
关联度分析
平台提供表关联度分析功能，通过分析数据库表数据资产与其他资产的的关系出现次数情况，如表与ETL程序、表与OLAP、表与指标等关系，并以报表形式输出分析结果，帮助用户分析数据资产之间的关联程度。