原文《智慧能源云数据平台建设方案》WORD格式，主要从数据管理平台、数据展示平台、数据分析平台进行建设。
来源网络，旨在交流学习，如有侵权，联系速删，更多参考公众号：优享智库
总体方案架构
本项目设计包括大数据分析、大数据展示和大数据管理（治理）在内的目标架构,并且支持大数据分析平台的云部署架构。对XXX云数据平台的具体实现方案进行技术设计与建设指标设计：
总体方案说明
通过大数据技术平台产品和技术服务，开展大数据平台建设。逐步实现由SAP BW单一数据分析环境，向以分布式数据库为支撑的大数据平台数据架构演进。主要方案内容包括：
（一）大数据分析平台：
数据采集：
- 支持从SAP相关系统CCS、OIL、CRM等系统采用增量、数据变更触发、自动调度等方式采集数据。
- 支持从EAS、预算合并等定制系统的关系数据库中采集数据。
- 支持从文档工作流等非结构化或半结构化数据库中采集数据。
- 支持数据采集写入到HDFS、HBase、Hive等大数据库中。
- 支持准实时数据的采集和处理。
数据存储处理：
- 支持原来BW数据仓库的数据逐层转换处理。
- 支持Hadoop大数据库中进行分布式海量数据的并行处理。
- 支持流式数据处理。
数据分析工具：
- 大数据平台提供面向数据分析师的若干工具，包括数据加工台，数据产品开发工具、数据可视化工具以及数据服务 REST API等。
（二）大数据展示平台：
数据可视化展示：
- 支持以图形化方式开发配置大数据分析展示的仪表板、报表、查询、移动设备展示等内容。
- 支持与底层关系数据库、Hadoop大数据库等多种类型的数据存储对接，实现数据的可视化展示。
（三）大数据管理平台：
元数据管理：
- 支持SAP系统数据库、ETL工具、存储过程、数据仓库表结构/脚本、Hadoop数据库结构等类型元数据的采集；
- 支持基于CWM标准规范自定义元模型库结构，支持各种不同类型、不同结构关系、不同模型细节的元数据结构完全自定义。
- 支持基于元数据进行数据血统分析、数据问题追溯、数据变更影响分析、数据资产盘查、数据模型管理等应用场景。
数据质量管理：
- 支持通过导入和配置的方式建立数据质量检核的规则，实现对贴源层、数据仓库、数据集市以及数据处理过程每个区域的数据质量检核；
- 支持多维度的数据质量评估，如数据的及时性、重复性、关联性、正确性、完全性、一致性、合规性等。
- 具备数据报警机制管理，可灵活设置管理及监控规则。数据监控结果实现与XXX邮箱、移动APP的推送。
提供丰富的数据质量分析报告，可以为数据管理考核提供依据。
技术方案
技术方案
数据管理平台
数据管理平台作为企业数据管理工具，需要能够支撑对数据全生命周期管理，通过数据管理平台实现从数据计划、数据规范定义、数据开发上线、数据创建获取、数据维护使用、数据归档恢复及数据清除阶段进行数据全生命周期进行管理，从而建立企业数据治理体系框架，搭建数据管理平台，构建出整个大数据平台的数据全景地图，增强企业数据管控能力。清晰地掌握数据出处或者来源，即企业数据的家族谱系。
数据管理平台建设方案结合了当前XXX能源业务运营情况和未来企业发展需要，按照分层、分级设计理念、分步实现建设目标，整个平台架构由五大层构成：获取层、整合层、功能层、应用层、管理层，打造基于当前BW数据平台和符合未来大数据平台管理需要的智能数据管理中心，为数据平台的运营、管理工作提供有力支撑，提升XXX在能源行业内的竞争力。
平台逻辑架构如下：
获取层：通过不同的采集适配器，抓取BW数据平台内部的元数据，为数据平台的运营维护提供全局的、完整的元数据管理，获取层主要包含抓取组件，如对传统数据库元数据的自动抓取组件Oracle采集器、BW采集适配器、BO报表采集适配器，也包括对未来大数据平台Hadoop体系中元数据的抓取组件，如Hive、HDFS采集器。
整合层：为数据平台异构的元数据、和不同业务条线数据质量问题提供智能整合和储存能力，为数据治理平台设计的同类不同源的元数据在同一元模型的规范体系下整合存储。整合层主要包括元数据对象整合组件和元数据关系整合组件，以及元模型设计器、元数据抓取配置组件。
功能层：为数据管理平台元数据管理和数据质量管理提供了基础的功能部件，是数据管理平台面向使用的基础性功能，以及为系统集成、平台整合和二次开发提供接口界面，从应用角度分为：分析组件、展现组件、视图组件、调度组件和问题定义组件等；从数据管理角度分为：操作组件和管理组件。功能层是元数据管理产品承上启下的层次。
应用层：面向项目最终目标的业务使用场景，提供数据管理日常使用的支撑，是对功能层组件的整合应用，满足XXX数据管理各层面用户快速理解数据系统内的数据组织以及数据间的影响和依赖，并满足缩短数据平台变更、维护、升级的时间要求和降低其过程中的误操作，快速发现并定位数据质量问题，以提升企业整体数据质量。
系统管理层：为大数据平台元数据管理系统提供系统管理，包括日志管理、权限管理、用户管理及系统参数配置等，提供针对数据管理平台的管理功能。
本次项目工作由三部分，一部分对公司数据管理现状进行调研，结合公司整体发展目标，建立符合公司未来发展战略的数据管理体系；一部分搭建XXX数据管理平台，通过元数据管理软件、数据质量软件支撑平台，满足数据质量管理，数据规范管理需要的软件条件，一部分基于数据管理平台，完成对XXX已有的BW数据仓库内物理模型、报表指标、ETL加工过程元数据采集，从而形成对企业数据全景地图，同时将XXX业务人员对大数据平台数据模型的梳理结果纳入数据管理平台进行统一管理，作为在建大数据平台元数据管理的规范，为后续进一步管理针对大数据平台的管理提供可行指导。
数据展示平台
数据展示平台定位
本次XXX云数据平台的建设中，Hive作为其中必不可或缺的Hadoop组件。在云数据平台开始建设后，其中数据展现平台需要与未来的云数据平台进行数据集成的能力，云数据平台为报表分析平台提供数据源。其中报表平台也具备连接SAP的DB2与Oracle数据库的能力，一般通过数据抽取到云数据平台中进行数据展现。
数据分析平台定位
数据分析平台是本次平台建设的核心平台，负责XXX能源各业务应用的数据采集、分析建模，数据挖掘，机器学习，深度分析等，为数据管理部门和使用部门提供统一的大数据分析服务。平台面向XXX能源的“数据分析师”，屏蔽了专业化的数据访问语言（SQL等）和编程接口，提供大量简单易用、交互性强的用户界面，并提供灵活的部署方式，即能通过云端部署，也可以作为独立的分布式大数据系统进行部署。