原文《智慧能源雲資料平台建設方案》WORD格式，主要從資料管理平台、資料展示平台、資料分析平台進行建設。
來源網絡，旨在交流學習，如有侵權，聯系速删，更多參考公衆号：優享智庫
總體方案架構
本項目設計包括大資料分析、大資料展示和大資料管理（治理）在内的目标架構,并且支援大資料分析平台的雲部署架構。對XXX雲資料平台的具體實作方案進行技術設計與建設名額設計：
總體方案說明
通過大資料技術平台産品和技術服務，開展大資料平台建設。逐漸實作由SAP BW單一資料分析環境，向以分布式資料庫為支撐的大資料平台資料架構演進。主要方案内容包括：
（一）大資料分析平台：
資料采集：
- 支援從SAP相關系統CCS、OIL、CRM等系統采用增量、資料變更觸發、自動排程等方式采集資料。
- 支援從EAS、預算合并等定制系統的關系資料庫中采集資料。
- 支援從文檔工作流等非結構化或半結構化資料庫中采集資料。
- 支援資料采集寫入到HDFS、HBase、Hive等大資料庫中。
- 支援準實時資料的采集和處理。
資料存儲處理：
- 支援原來BW資料倉庫的資料逐層轉換處理。
- 支援Hadoop大資料庫中進行分布式海量資料的并行處理。
- 支援流式資料處理。
資料分析工具：
- 大資料平台提供面向資料分析師的若幹工具，包括資料加工台，資料産品開發工具、資料可視化工具以及資料服務 REST API等。
（二）大資料展示平台：
資料可視化展示：
- 支援以圖形化方式開發配置大資料分析展示的儀表闆、報表、查詢、移動裝置展示等内容。
- 支援與底層關系資料庫、Hadoop大資料庫等多種類型的資料存儲對接，實作資料的可視化展示。
（三）大資料管理平台：
中繼資料管理：
- 支援SAP系統資料庫、ETL工具、存儲過程、資料倉庫表結構/腳本、Hadoop資料庫結構等類型中繼資料的采集；
- 支援基于CWM标準規範自定義元模型庫結構，支援各種不同類型、不同結構關系、不同模型細節的中繼資料結構完全自定義。
- 支援基于中繼資料進行資料血統分析、資料問題追溯、資料變更影響分析、資料資産盤查、資料模型管理等應用場景。
資料品質管理：
- 支援通過導入和配置的方式建立資料品質檢核的規則，實作對貼源層、資料倉庫、資料集市以及資料處理過程每個區域的資料品質檢核；
- 支援多元度的資料品質評估，如資料的及時性、重複性、關聯性、正确性、完全性、一緻性、合規性等。
- 具備資料報警機制管理，可靈活設定管理及監控規則。資料監控結果實作與XXX郵箱、移動APP的推送。
提供豐富的資料品質分析報告，可以為資料管理考核提供依據。
技術方案
技術方案
資料管理平台
資料管理平台作為企業資料管理工具，需要能夠支撐對資料全生命周期管理，通過資料管理平台實作從資料計劃、資料規範定義、資料開發上線、資料建立擷取、資料維護使用、資料歸檔恢複及資料清除階段進行資料全生命周期進行管理，進而建立企業資料治理體系架構，搭建資料管理平台，建構出整個大資料平台的資料全景地圖，增強企業資料管控能力。清晰地掌握資料出處或者來源，即企業資料的家族譜系。
資料管理平台建設方案結合了目前XXX能源業務營運情況和未來企業發展需要，按照分層、分級設計理念、分步實作建設目标，整個平台架構由五大層構成：擷取層、整合層、功能層、應用層、管理層，打造基于目前BW資料平台和符合未來大資料平台管理需要的智能資料管理中心，為資料平台的營運、管理工作提供有力支撐，提升XXX在能源行業内的競争力。
平台邏輯架構如下：
擷取層：通過不同的采集擴充卡，抓取BW資料平台内部的中繼資料，為資料平台的營運維護提供全局的、完整的中繼資料管理，擷取層主要包含抓取元件，如對傳統資料庫中繼資料的自動抓取元件Oracle采集器、BW采集擴充卡、BO報表采集擴充卡，也包括對未來大資料平台Hadoop體系中中繼資料的抓取元件，如Hive、HDFS采集器。
整合層：為資料平台異構的中繼資料、和不同業務條線資料品質問題提供智能整合和儲存能力，為資料治理平台設計的同類不同源的中繼資料在同一進制模型的規範體系下整合存儲。整合層主要包括中繼資料對象整合元件和中繼資料關系整合元件，以及元模型設計器、中繼資料抓取配置元件。
功能層：為資料管理平台中繼資料管理和資料品質管理提供了基礎的功能部件，是資料管理平台面向使用的基礎性功能，以及為系統內建、平台整合和二次開發提供接口界面，從應用角度分為：分析元件、展現元件、視圖元件、排程元件和問題定義元件等；從資料管理角度分為：操作元件和管理元件。功能層是中繼資料管理産品承上啟下的層次。
應用層：面向項目最終目标的業務使用場景，提供資料管理日常使用的支撐，是對功能層元件的整合應用，滿足XXX資料管理各層面使用者快速了解資料系統内的資料組織以及資料間的影響和依賴，并滿足縮短資料平台變更、維護、更新的時間要求和降低其過程中的誤操作，快速發現并定位資料品質問題，以提升企業整體資料品質。
系統管理層：為大資料平台中繼資料管理系統提供系統管理，包括日志管理、權限管理、使用者管理及系統參數配置等，提供針對資料管理平台的管理功能。
本次項目工作由三部分，一部分對公司資料管理現狀進行調研，結合公司整體發展目标，建立符合公司未來發展戰略的資料管理體系；一部分搭建XXX資料管理平台，通過中繼資料管理軟體、資料品質軟體支撐平台，滿足資料品質管理，資料規範管理需要的軟體條件，一部分基于資料管理平台，完成對XXX已有的BW資料倉庫内實體模型、報表名額、ETL加工過程中繼資料采集，進而形成對企業資料全景地圖，同時将XXX業務人員對大資料平台資料模型的梳理結果納入資料管理平台進行統一管理，作為在建大資料平台中繼資料管理的規範，為後續進一步管理針對大資料平台的管理提供可行指導。
資料展示平台
資料展示平台定位
本次XXX雲資料平台的建設中，Hive作為其中必不可或缺的Hadoop元件。在雲資料平台開始建設後，其中資料展現平台需要與未來的雲資料平台進行資料內建的能力，雲資料平台為報表分析平台提供資料源。其中報表平台也具備連接配接SAP的DB2與Oracle資料庫的能力，一般通過資料抽取到雲資料平台中進行資料展現。
資料分析平台定位
資料分析平台是本次平台建設的核心平台，負責XXX能源各業務應用的資料采集、分析模組化，資料挖掘，機器學習，深度分析等，為資料管理部門和使用部門提供統一的大資料分析服務。平台面向XXX能源的“資料分析師”，屏蔽了專業化的資料通路語言（SQL等）和程式設計接口，提供大量簡單易用、互動性強的使用者界面，并提供靈活的部署方式，即能通過雲端部署，也可以作為獨立的分布式大資料系統進行部署。