天天看点

DAP事实表加工汇总功能应用说明

科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,当今数据时代背景下更加强调、重视数据的价值,以数据说话,通过数据为企业提升渠道转化率、改善企业产品、实现精准运营,为企业打造自主模式的数据分析成果,以数据驱动决策。

数据分析,无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定一些方向或者推出某种新型产品,就需要数据分析来将凌乱的数据进行整合汇总,从而判断出具体方向。

1整体介绍

通过不同的产品组合来解决不同公司面临的企业困难,帮助企业范围内建立起了一整套统一、规范的IT架构标准体系,包括数据规范、服务规范、流程规范、界面规范、接口规范等,彻底解决了当前面临的信息孤岛问题,有利于提高效率、降低成本。

1.1产品体系

首先介绍一下我们数通畅联的产品体系:

DAP事实表加工汇总功能应用说明

我们数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。

DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据,保障数据分析分析数据的准确性。

1.2产品说明

数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品,能够真实、准确、清晰、有效的将企事业内部及行业外部相关数据进行可视化展现,帮助企事业提升行业洞察力,加强决策力,从而提升整体竞争力。

DAP事实表加工汇总功能应用说明

数据分析平台功能有:

1.数据来源(应用系统定义、数据源头配置、ODS数据定义)数仓模型。

2.数仓模型(业务主题、指标配置、维度配置、事实配置、模型配置)。

3.数据调度(规则校验、调度资源(同步资源、加工资源)、调度任务、质量日志、调度日志(同步日志、加工日志)、通知日志)。

4.分析模型(数据集配置、立方体配置、多维度分析、业务类报表)。

5.展现模型(导航管理、组件管理、展现主题、装饰管理)。

6.统计分析(数据地图、质量分析、血缘分析、影响分析)。

7.系统管理(组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志)。

1.3功能说明

事实表功能分为基础事实表和汇总事实表,基础事实表来源是ODS中间库并且可以与维度表关联,汇总事实表来源是基础事实表或者汇总事实表。

DAP事实表加工汇总功能应用说明

本篇文档主要是事实表的汇总计算,事实表计算分为纵向汇总和横向汇总,纵向汇总是通过聚合函数SQL语句,纵向汇总事实表通过ESB结合调用DAP接口创建ESB预制的集成流程进行数据同步,横向汇总是通过汇总配置实现字段间的表达式计算。

2场景介绍

事实表的汇总计算,事实表计算分为纵向汇总和横向汇总,纵向汇总是聚合函数计算,横向汇总是字段表达式计算。

2.1功能介绍

基础事实来源是ODS和维度表,汇总事实表来源是基础事实表和汇总事实表,通过基础事实表进行聚合函数生成对应SQL语句,在通过ESB流程实现数据同步。通过横向汇总配置功能,配置出字段之间的表达式,再进行二次汇总计算,所以汇总计算类型分为纵向汇总、横向汇总。 

DAP事实表加工汇总功能应用说明

2.2纵向汇总 

纵向汇总事实表与ESB结合生成集成流程,实现数据同步,所以需要聚合函数SQL,事实表预制便捷的配置,通过事实表选度量字段配置不同的聚合函数,实现聚合SQL的生成。 

DAP事实表加工汇总功能应用说明

2.3横向汇总 

DAP数据集成功能分为业务系统到ODS、ODS到数仓、汇总事实表加工,其中汇总事实表加工是通过DAP配置度量(进行SQL汇总函数计算)同步到汇总事实表中,但是有些数据SQL不满足无法计算(比如:字段之间的计算),所以需要一个汇总计算功能。 

DAP事实表加工汇总功能应用说明

3纵向汇总 

汇总事实表加工是对维度表到汇总事实表或集成事实表到汇总事实表,基础事实表到汇总事实表是使用基础事实表数字类型字段,通过配置聚合函数生成对应SQL,通过ESB把对应数据同步到汇总事实表。 

3.1功能介绍 

在事实表处选择汇总事实表,然后在选择汇总类型,选择纵向汇总,配置维度表和基础事实表关联,配置字段聚合函数,然后通过配置生成对应SQL,然后通过功能配置通过ESB进行聚合函数SQL查询汇总,进行字段的映射更新到汇总事实表中。 

3.2功能配置 

1.选择汇总事实,选择纵向汇总,选择来源表,然后根据选择表进行字段导入。 

DAP事实表加工汇总功能应用说明

2.通过选择的来源进行字段导入,也支持手动添加,添加需要计算的度量字段。 

DAP事实表加工汇总功能应用说明

3.在字段配置中配置映射字段,如果是度量字段配置聚合函数。 

DAP事实表加工汇总功能应用说明

4.下面是预制的聚合函数: 

DAP事实表加工汇总功能应用说明

3.3功能应用 

配置完成后,在ESB生成汇总事实表加工集成流程,下面就是如何通过ESB生成对应流程,如图所示: 

1.选择汇总事实表加工: 

DAP事实表加工汇总功能应用说明

选择你要加工汇总的汇总事实表,选择后点击finish生成对应的流程。 

DAP事实表加工汇总功能应用说明

选择一个汇总事实表进行流程创建,会生成对应集成流程,流程根据汇总事实表配置生成对应的SQL语句查询对应数据,然后进行数据更新,构建日志计划,调用回写日志接口。 

DAP事实表加工汇总功能应用说明

上图所示,通过纵向汇总配置生成SQL如下: 

DAP事实表加工汇总功能应用说明

执行流程任务结果: 

DAP事实表加工汇总功能应用说明

4横向汇总 

横向汇总是对基础事实表或已经纵向汇总后的表进行二次汇总,因为纵向汇总只是在SQL中进行聚合计算,不能字段与字段之间汇总计算,所以添加一个汇总计算功能。 

4.1功能介绍 

DAP数据集成功能分为业务系统到ODS、ODS到数仓、汇总事实表加工,其中汇总事实表加工是通过DAP配置度量(进行sql汇总函数计算)同步到汇总事实表中,在通过横向汇总配置选择不同字段,进行字段之间的表达式计算,得出新的字段数据。 

4.2功能配置 

1.汇总事实表基础信息添加汇总类型:横向汇总、纵向汇总以及选择纵向汇总。 

DAP事实表加工汇总功能应用说明

2.配置完字段后,配置横向汇总,支持定时配置。 

DAP事实表加工汇总功能应用说明

3.定时策略配置,如下: 

DAP事实表加工汇总功能应用说明

4.编辑配置页面:选择对应字段,也可以选择预制的计算公式,进行配置表达式。 

DAP事实表加工汇总功能应用说明

5.点击放大镜图表弹出选择字段页面,利用其他字段进行表达式计算: 

DAP事实表加工汇总功能应用说明

6.点击计算公式,弹出选择预制好mvel计算表单试。 

DAP事实表加工汇总功能应用说明

4.3汇总计算 

1.横向汇总配置完成后支持发布成服务,也可以点击执行手动测试。 

DAP事实表加工汇总功能应用说明

2.点击发布,发布成一个服务,也可以点击执行进行调用汇总功能,进行汇总计算。 

DAP事实表加工汇总功能应用说明

点击执行后通过汇总配置DAP内部进行汇总计算,然后在同步到事实表中。 

DAP事实表加工汇总功能应用说明

5总结分析 

无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定方向或者推出某种新型产品,就需要数据分析来将凌乱的数据进行整合汇总。 

5.1预算应用 

上述所讲的是事实表中进行汇总处理、表达式计算,帮助数仓快速创建,使数仓数据更加完整、准确,使数据分析更加真实有效,帮助企业领导掌握过去企业的整体运营情况。 

DAP算法模型功能,通过算法模型快速发现企业所存在的隐患,加强企业运转效率,预测未来公司的发展趋势,提高数据利用价值。 

5.2数据集成 

5.3产品发展 

继续阅读