企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，。
DAP数据分析平台主要是满足在企业进行数据分析的过程中，进行数据集中化管控、决策分析等需要。通过DAP数据分析平台可以有效支撑企业构建数据仓库，同时基于ESB企业数据总线平台进行。
整体介绍
DAP数据分析平台就是采集各个业务系统的数据，进行数据筛选（表和字段、数据）、质量校验等步骤建立数仓，保证了数据标准性、完整性、准确性，从而实现企业业务数据的统一，通过、数据服务来展现DAP数据分析平台的价值。
1.产品方案
首先介绍一下数通畅联的产品体系：
数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。
上图所示通过DAP数据分析平台+MDM基础数据平台+ESB企业数据总线组成了数据中台方案，本次介绍的DAP数据分析平台就是此方案的核心，，帮助整合企业数据，统一管理，提升企业的数据价值。
2.功能架构
数据分析平台全生命周期是通过采集各个业务系统数据构建数仓，从而进行有效分析的过程，能够真实、准确、有效地将企事业内部及行业外部相关数据进行可视化展现，帮助企事业提升行业洞察力，加强决策力，从而提升整体竞争力。
数据分析平台功能有：
1.（应用系统定义、数据源头配置、ODS数据定义）。
2.（业务主题、维度配置、事实配置、模型配置、指标管理）。
3.（规则校验、调度资源（同步资源、加工资源）、调度任务、调度日志（同步日志、加工日志）、质量日志、通知日志）。
4.（数据集配置、立方体配置、业务类报表、多维度分析）。
5.（导航管理、组件管理、展现主题、装饰管理）。
6.（接收服务、查询服务、统计服务、指标服务、业务服务）。
7.（集成配置、数据管理、数据分发）。
8.（标签定义、标签配置、标签画像）。
9.（数据地图、质量分析、血缘分析、影响分析）。
10.（组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志）。
本次讲解的重点是结合ESB进行数据调度流程创建过程。
3.场景介绍
DAP数据仓库的建设步骤是中的（到维度表、基础事实表），汇总事实加工与ESB结合调用DAP接口创建ESB预置的集成流程，并且生成对应的数据调动，通过数据集成结合DAP功能进行上述数据治理，生成数仓模型，通过模型生成调动任务，通过调动任务来进行数据的采集、转换、加工汇总。
场景介绍
通过ESB设计器创建三种调度流程，分别是业务源到ODS中间库的调度流程、数据集加工的调度流程和立方体加工的调度流程，然后可以在每个流程的各个节点中设置数据源、映射等信息，最后也是到DAP平台查看并启动执行这些流程完成同步数据的功能。
1.采集同步
数据采集是从业务系统到ODS部分，通过业务系统采集想要的治理的业务数据表和对应的字段，通过ODS定义进行注册，同步方式分为源库读取、流程同步、接口同步，其中流程同步和接口同步是。
2.清洗转换
ODS创建完就要进行数仓的建设，建立数仓的目的就把业务的数据进行清洗整合进行业务数据治理，所以需要进行清洗转换工作，通过ESB系统生成维度表同步流程和基础事实表同步流程。
下图是同步维度表过程，通过维度表配置生成对应ESB流程，然后调用流程同步数据到维度表中。
下图是基础事实表集成过程，通过维度表配置生成对应ESB流程，然后调用流程同步数据到基础事实表集成。
3.加工汇总
，汇总事实表分为横向加工汇总和纵向加工汇总，纵向的就是进行SQL语句汇总计算，通过ESB生成加工流程进行汇总查询后再同步到汇总事实表中，横向加工汇总通过后台进行计算，把已经加工好数据进行二次加工处理。
采集同步
通过ESB的业务系统到ODS类型创建ODS同步流程，从而进行把业务系统的数据采集到ODS中间库中。
1.功能说明
，通过业务系统采集想要的治理的业务数据表和对应的字段，通过ODS定义进行注册，同步方式分为源库读取、流程同步、接口同步，其中流程同步和接口同步通过ESB生成对应集成流程进行数据同步。
流程同步会生成对应流程流程分为时间撮流程和全字段流程，流程同步是通过查询数据库来获取业务系统的数据。
接口同步也分为时间撮、全字段流程，接口同步是通过调用业务系统接口进行获取数据。
2.功能配置
ODS创建好表以后我们就可以根据业务的需要进行不同方式的同步数据。
（1）：源库读取就是把业务系统变成从库，直接会通过业务系统同步到数仓中。所以源库读取的数据不需要创建流程可以直接抽取使用。
（2）：接口推送就是别的系统通过我们已有的接口调用来同步数据。选择生成触发流程也会通过ESB生成对应同步流程，如下图：
（3）：流程同步就是业务系统到ODS是通过ESB集成流程同步数据，通过ESB创建集成流程，可以很方便快捷地同步数据，如下图：
3.集成流程
ODS生成对应的流程分为时间撮和字段对比，时间撮也分为流程同步模式和接口推送模式。
：
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询ODS最新更新时间。
3.获取来源数据接口。
4.ODS更新数据。
5.构建调度日志集合。
6.插入调动日志。
：
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询ODS最新更新时间。
3.查询来源数据库获取数据。
4.ODS更新数据。
5.构建调度日志集合。
6.插入调动日志。
：
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询ODS最新更新时间。
3.获取来源数据接口。
4.数据格式转换把来源数据转换成插入数据格式。
5.先清空临时表数据。
6.把来源数据插入临时表中。
7.进行临时表和真实表全表对比，转换成新数据格式。
8.ODS更新数据。
9.构建调度日志集合。
10.插入调动日志
：
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询ODS最新更新时间。
3.进行来源表和真实表全表对比，转换成新数据格式。
4.ODS更新数据。
5.构建调度日志集合。
6.插入调动日志。
清洗转换
通过ESB的ODS转换到数仓类型进行创建维度表、基础事实表的数据同步的流程，然后数据调度进行调用此流程进行数据同步，在这过程中我们可以。
1.功能说明
维度表进行来源是ODS，通过ODS生成维度表，然后生成对应维度表同步流程，基础事实表是ODS拉取到事实表中，一些字段需要与维度表关联形成基础事实表，通过ESB生成基础事实表同步流程。
2.功能配置
维度表配置如下：配置维度表基本信息，选择ODS数据来源。
导入ODS字段，注意：来源字段必须要添加，如何需要进行字段校验就配置校验规则。
基础事实表配置如下：，创建时候选择基础事实。
导入ODS字段，也要注意：来源字段必须要添加，如果进行字段校验就配置校验规则。
3.集成流程
数据从ODS到维度表，需要与ESB结合生成对应集成流程，就是下面我要讲解的数据集成部分。
ODS到维度表数据集成，需要选择ODS转换到EDW。
选择维表：选择要创建流程，选择后点击finish。
生成如下集成流程：
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询维度最新更新时间。
3.获取校验信息。
4.循环进行校验对比，如果校验错误方法质量集合中，如果正确就放到数据集合中。
5.调用质量日志接口插入质量日志。
6.正确数据更新到维度表中。
7.构建调度日志集合。
8.插入调动日志。
，选择集成事实表，点击刷新。
选择要生成流程事实表，点击finish生成如下流程图。
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询基础事实表最新更新时间。
3.获取校验信息。
4.循环进行校验对比，如果校验错误方法质量集合中，如果正确就放到数据集合中。
5.调用质量日志接口插入质量日志。
6.正确数据更新到维度表中。
7.构建调度日志集合。
加工汇总
通过ESB的汇总事实表加工类型进行创汇总事实表的数据同步的流程，然后数据调度中加工流程进行调用此流程进行数据同步，在这过程中我们可以进行加工处理操作。
1.功能说明
汇总事实表分为横向汇总和纵向汇总，纵向汇总是进行配置汇总函数，生成加工流程时候生成对应的SQL，横向汇总是对基础事实表数据进行二次加工汇总计算，在调度日志时候进行加工处理。
2.功能配置
汇总事实表配置如下：汇总事实表分为横向汇总和纵向汇总，。
纵向汇总：
横向汇总：
通过汇总配置选择字段进行相互添加计算表达式。
3.集成流程
汇总事实表加工流程生成如下：
选择汇总事实表加工类型。
选择对应的汇总事实表。
点击finish生成汇总事实表加工流程。
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询基础事实表最新更新时间。
3.查询汇总数据。
4.构建调度日志集合。
5.插入调动日志。
心得总结
在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动，所以数据一定是标准的、完整的、准确的数据，通过上述质量校验功能把业务系统中不正确数据过滤掉、调整后，，这样分析出来的信息才能正确引导公司的发展。
1.产品结合
有效的解决方案一定根据企业自身业务情况来进行产品的组合拆分打造出来，通常与ESB企业数据总线产品结合进行，MDM负责数据治理工作，ESB负责数据同步分发工作。
，帮助企业把一些凌乱的数据进行整合汇总，提升企业数据价值，提供一个决策分析用的工具，帮助决策人员更好地制定企业策略，或找出企业的潜在问题，提高客户满意度，最终提高企业竞争力。
2.产品价值
数据集成作用是把从业务系统到ODS，从ODS转换到数仓、汇总处理里的数据进行一次抽取工作，帮助数仓的快速创建，调度过程也是支持清洗校验过程，帮助数仓数据更加完整准确，使数据分析更加真实有效，帮助企业领导掌握过去企业整体运营情况，分析现在所存在的隐患，预测未来公司的发展趋势。
通过本次数据模型的建设进行梳理企业业务数据，从而进行数据治理，保证数据的准确性，，所有的信息都可以从数据仓库直接获取，也可以进行数据可视化，提高他们在需要时查找所需信息的能力，并且比其他公司更高效地完成这些工作。
3.产品发展
产品不管怎么发展都是一个目的，那就是解决每个阶段企业面临的困境，帮助企业完善信息化发展，能够抓住每个企业的业务痛点，这样才能体现出产品的价值，一款好且稳定的产品可以帮助工作人员快速而方便的工作，大大提高了工作效率，也会让客户满意，增加客户对公司的信任度。
可以对采集到的所有海量数据进行分析，分析用的数据有由采样数据扩展至全部数据。其次，，大数据可以将不同领域的数据组合后进行分析。再次，数据基于有关关系的数据源相同可以分析预测出正确的结果。
本文由@数通畅联原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~