原文《企業數字化轉型建設方案：企業大資料中心數字化系統平台建設技術方案》共248頁約10萬字WoRD格式。來源網絡，旨在交流學習，如有侵權，聯系速删，更多參考公衆号：優享智庫
按照對資料中心的了解，完整的資料中心應該具備IT基礎設施（主機、存儲、網絡）、企業級ETL平台、資料存儲中心、資料共享服務、應用層、統一門戶、資料管控平台。
功能架構
系統功能架構分為企業級ETL平台、存儲與計算中心、服務層、應用層、統一門戶、統一平台管控。
企業級ETL平台：
負責企業資料中心資料采集、加工、彙總、分發的過程，完成企業級資料标準化、集中化，實作資料脈絡化、關系化，實作統一的資料處理加工，包括：非實時資料處理和實時資料處理，提供資料抽取、資料轉換、資料加載、資料彙總、資料分發、資料挖掘等能力。
存儲與計算中心：
建立統一的資料中心資料模型，以及統一的資料存儲與計算，具體提供關系資料庫、分布式非關系資料庫、分布式檔案、分布式計算，實作統一的資料存儲與計算。
資料共享服務：
通過資料服務标準化開放通路，幫助企業IT建設中，應用和資料分離，引入更多的應用開發商，促進應用的百花齊放和應用的專業性；基于标準化接口，實作對标簽、客戶視圖、名額等資料查詢API封裝，實作與周邊系統實時互動，展現資料價值，減少資料備援，保證資料安全，保證資料的一緻性。
應用層：
應用層的應用使用服務層提供的各種資料服務。本期應用層包括：經分應用、流量營運、ESOP應用、VGOP應用、名額庫、流量營運戰略地圖、掌上分析、自助業務分析、區域洞察、管道營運、自助分析、客戶标簽庫、實時營銷、LTE網際網路管控政策。
統一門戶：
提供統一域名配置設定、負載均衡、鑒權管理、統一管控平台接入、應用注冊、應用釋出、應用通路資料資訊等功能，同時提供資料中心被應用通路的頻次，被應用通路的資料範圍，提供資料資産的評估，為應用上下線和資料開放提供依據。
統一平台管控：
面向開發人員、運維人員實作資料、應用、資源的統一管控，包括：資料資産管控、開發管理、監控管理、排程管理、系統管理、安全管理。
技術架構
系統技術架構分為資料采集、計算存儲服務、資料共享服務、平台管控。采用Hadoop雲技術，可以滿足計算能力線性擴充、多租戶能力、資料彙總能力；批處理場景采取Hadoop的Map/Reduce、Hive或者Spark來完成；流式資料處理，采用Esper計算引擎實作。
資料采集：
采用Flume計算架構，實作檔案和消息采集與解析；采用流式爬蟲、中文分詞、圖檔識别技術，實作網際網路網頁資訊實時采集；采用FTP檔案方式實作對資料檔案的采集；采用Socket消息方式實作對消息資料的采集；采用sqoop方式實作将資料庫資料裝載到HDFS檔案系統。整理制作郎豐利1519.
計算存儲服務：
采用Hadoop中HDFS檔案系統提供統一的大資料資料存儲，滿足全量資料留存；基于Yarn提供跨平台的資源管理，滿足資源的統一排程與管理；采用Hadoop實作非實時ETL，實作海量資料的批處理，主要處理ODS層->DWD層->DW層->ST層的資料處理；視業務資料情況部分DW層->ST層的資料處理采用Spark計算架構實作；采用Esper和rabbitmq支撐流資料處理與複雜事件處理；利舊DB2提供ST層資料的存儲與計算，支援高并發的名額級資料共享。整理制作郎豐利。
資料共享：
資料開放共享采用基于HTTP協定REST風格的OpenAPI完成同步處理與基于消息隊列（MQ）完成異步處理，實作類SOA面向服務的架構體系。支援OAuth提供一個安全的、開放而又簡易的授權協定。資料共享服務部署在叢集環境中以應對高并發的通路請求，并實作叢集的負載均衡。整理制作郎豐利。
統一平台管控：
采用Java EE技術，通過MVC模式（Model View Controller，是模型－視圖－控制器）把業務邏輯、資料、界面顯示分離的方法組織代碼，将業務邏輯聚集到一個部件裡面，在改進和個性化定制界面及使用者互動的同時，不需要重新編寫業務邏輯。
資料流圖
Mc信令（實時）資料通過Socket消息适配子產品接入至Esper計算引擎進行實時處理，向應用提供事件API服務，支撐實時營銷應用；後期如Gn信令、LTE信令也提供實時資料，可滿足基于Gn信令、LTE信令的實時處理。
除Mc信令（實時）資料外，Gn信令、Mc信令、自有業務訂購與使用行為等資料通過非實時ETL方式裝載到Hadoop的HDFS檔案系統，實作全量資料留存；由Hive承擔主庫的職能，實作海量資料的批處理，承載ODS->DWD->DW->ST各層資料處理，其中DW層部分資料提供給Spark，由Spark完成資料處理工作。
對外資料服務可以由不同種類的API來完成：
1、 針對諸如客戶統一視圖、客戶标簽庫的資料探索查詢服務：将資料加載到Spark的RDD中，通過API将資料共享出去；
2、 針對諸如客戶标簽資訊查詢、客戶詳單查詢類的資料查詢服務（特點是通過一個Key來查詢資料）：将資料加載到Hbase中，通過API将資料共享出去；
3、 針對諸如名額資料查詢、KPI資料查詢服務（特點是高并發、多元度的資料查詢）：将資料加載到DB2資料庫（利舊）中，通過API将資料共享出去；
4、 針對多租戶的資料共享服務，詳見章節；
