原文《大資料平台技術架構規劃方案》PPT格式，主要從大資料處理技術、大資料目标架構、建設思路、大資料平台架構、建設重點等進行建設。适用于售前項目彙報、上司彙報。
素材整理或來源網絡公開管道，如有侵權，聯系速删，更多參考公衆号：優享智庫
一、大資料處理技術
大資料對傳統資料處理技術體系提出挑戰
大資料具備資料量大、資料類型多、資料處理速度要求高和價值密度低的特點，傳統分析系統架構（RDBMS +小型機+ 高端陣列模式）下，傳統資料庫無法支撐海量資料（如100TB以上，性能下降）、非結構化資料，現有IOE的架構無法線性擴充且成本高昂。
二、大資料目标架構
在目前資料種類繁多、資料處理複雜的情形下，不适合采用一種的單一的技術解決全部問題，大資料平台據需要采用Hadoop資源池、MPP資料庫、流處理資源池混搭大資料技術架構。
資料平台基于MPP、Hadoop、流處理等雲計算、大資料技術
•DW資料庫用于分析處理統計分析類OLAP應用
•MPP資料庫用于結構化資料的關聯分析。
•Hadoop平台軟體部署于Hadoop大資料處理叢集，實作海量非結構化資料存儲與處理以及結構化資料的垂直彙總。
•流資料與複雜事件處理（CEP）規則引擎平台用于對資料流進行實時處理，實作對高速資料流的接入與實時處理，實時探測關鍵事件
三、建設思路
由易到難，穩步推進：初期以資料整合為主，逐漸面向内外提供資料服務。
管控架構，同步推進：同步推動資料标準化群組織機構變革，為大資料共享平台商用奠定基礎。
自主掌控，能力内化：逐漸培養自研團隊，建構研發營運一體化能力。
四、大資料平台架構
企業級省大資料平台的技術架構包括資料采集、資料存儲與計算層、開發架構和應用中心四層，同時包括統一運維管理為各類使用人員提供服務。在大資料技術架構中資料的存儲和計算是緊密相連的。
五、建設重點
建設重點1——與其他分析型平台關系
大資料共享平台：
全網XDR資料采集、标準化、全量存儲（1個月）
全網網管資料采集、标準化、全量存儲
大資料共享平台實作負責xDR資料和網管資料的統一集中采集和預處理；提供上層應用對xDR細粒度資料的查詢響應。
按應用需求進行多元度小粒度彙總、資料整合、存儲
提供明細資料查詢、輕度彙總資料查詢。
性能管理系統：
從大資料共享平台擷取應用所需全量小時彙總資料。
資料緩存層：負責對來自于大資料共享平台的資料進行深入處理和緩存；為應用層提供各種彙總資料存儲、處理與共享，以及綜合分析與深度挖掘。
應用層：承載上層各類應用軟體和第三方應用，實作上層應用。
建設重點2——制定資料治理規則
• 按照規則從資料源直接采集，避免重複采集資料。
• 對于現有系統已采集的資料，發掘沉默資料的剩餘價值。
• 對于現有系統未采集的資料，增加采集點并發掘資料價值。
• 采集後的資料存儲，遵照各域屬地化存儲原則，各域的資料倉庫是公共倉庫，全公司共享使用。
• 按照規則進行資料統一清洗，清洗後根據不同專業應用需求，進行資料分發和權限控制。
• 對于資料缺失不能滿足應用需求的，要麼修改資料清洗規則，要麼重新采集資料。
• 從各域共享資料和标簽組合中，探索大資料對内對外的應用場景和未知價值。
建設重點3——HADOOP伺服器測算模型
模型搭建：根據HDFS存儲容量能力計算，主要分為兩個方面：
一是某一體量的資料在采用不同的資料處理技術時，它所需要的實體存儲容量、即磁盤裸容量的理論計算；
二是針對配置一定情況下，X86伺服器在承載不同的資料處理技術實體時，該X86伺服器能夠提供的有效存儲容量。
最終得出某一體量的資料在采用不同的資料處理技術時所需要配置的X86伺服器數量=實體存儲容量÷X86伺服器能夠提供的有效存儲容量。
建設重點4——HADOOP叢集對局址的選擇1/2