更多參考公衆号:優享智庫,來源網絡旨在交流分享,如有侵權,聯系速删。
一、建設目标
本次建設目标為:利用雲計算技術打造高校大資料分析、高性能應用等高校科研基礎平台。
雲計算資源中心建設後,将包括雲計算虛拟化中心、大資料分析、和高性能計算中心,并為此三個中心提供統一管理平台。通過雲計算資源中心的建設,實體資源将被組織起來統一調配和供應,提供給學校各學院、部門、教師及學生使用。并且通過雲資料中心為學校提供大資料分析和高性能計算服務。通過資源集中化,資源的共享得以實作,應用在資源之間的遷移也成為可能。當資源集中後,對于相同資源進行管理的代價将大幅度降低,而資源的使用率将成倍提升。進而解決資料中心目前面臨的問題,更有效地推動資訊化的發展。
基于雲計算的大資料和高性能中心建設目标主要有以下幾個方面:
1、資源緯度集約化。通過虛拟化方式,為各學院、部門和師生提供基礎計算服務和資料存儲。
2、資料緯度一體化。友善資料共享,為大規模資料整合和交換提供可能。
3、管理緯度服務化。利用雲計算方式,實作基礎軟硬體資源的統一管理、按需配置設定、綜合利用,降低各部門系統建設成本和日常運作維護費用。
高校數字校園雲計算平台建設着重點為:提供IAAS服務的伺服器虛拟化中心,提供校園師生教學辦公用的校園雲盤中心和提供高性能計算服務的高性能計算中心。
二、 資料中心總體規劃
雲資源中心加大資料分析與高性能主要分為計算資源、記憶體資源、存儲資源、網絡資源,大資料分析系統,高性能作業排程系統,本項目在充分整合高校資料中心資源的基礎上,配置必要軟硬體裝置,為高校資訊系統提供統一的基礎設施服務,在IaaS層建構較為完整的高校雲計算平台。建設内容包括以下幾部分:
硬體裝置:伺服器、存儲、、SAN交換機、交換機、負載均衡、VPN網關。
軟體裝置:實體伺服器和虛拟伺服器的作業系統、虛拟化軟體、中間件、大型資料庫系統、雲計算管理平台、Hadoop元件、高性能管理軟體、高性能作業排程軟體、高性能叢集存儲系統。
安全系統:防火牆、入侵防禦、防毒牆、網頁防篡改、身份認證系統、運維安全審計系統、資料庫安全審計系統、漏洞掃描系統。同時采購專業機構提供的雲安全服務等。
機房配套裝置:UPS、精密空調、标準機架。
資料中心總體部署架構
三、雲資料中心建設規劃
雲資料中心建設規劃
雲設施即服務(IaaS,Cloud Infrastructure as a Service):系統供應商可以向使用者提供同顆粒度的可度量的計算、存儲、網絡和單機作業系統等基礎資源,使用者可以在之上部署或運作各種軟體,包括客戶作業系統和應用業務。
雲平台即服務 (PaaS,Cloud Platform as a Service):雲計算平台供應商将業務軟體的開發環境、運作環境作為一種服務,通過網際網路送出給使用者。雲平台即服務,需要建構在雲基礎設施之上。使用者可以在雲平台供應商提供的開發環境下建立自己業務應用,而且可以直接在雲平台的運作環境中上營運自己的業務。
雲軟體即服務(SaaS,Cloud Software as a Service ):營運商通過網際網路,向使用者提供軟體服務的一種軟體應用模式。傳統的SaaS與雲SaaS,在客戶體驗上基本類似,如新浪郵箱和Gmail郵箱,客戶感受是類似的。但傳統的SaaS直接建構在硬體裝置之上,不能實作背景資源的多租戶共享,也無法實作資源的動态流轉,實際并不屬于雲計算的範疇。雲SaaS,要求這些軟體業務運作在雲平台服務層或建構在雲基礎設施層之上。雲SaaS的優勢,展現在背景資源的動态伸縮和流轉上,資源可擴充性更強,這一重大優勢是傳統SaaS所不具備的。
四、大資料平台規劃
本次計劃将分散在網絡中的資料歸集起來,為分析機構提供資料提取和查詢服務;本項目計劃實作網絡資訊的綜合查詢與分析,實作綜統報表、監管報表、業務日報表、綜合報表的資訊共享;資訊預警系統,實作網絡資訊的關聯查詢統計。
通過建立邏輯資料模型,并建立适合各類專題分析需要的資料集市,形成企業級中央資料倉庫,以中央資料倉庫為紐帶完成業務資料向管理資訊的過渡;
大資料平台規劃
五、大資料架構介紹
本次大資料平台系統包括硬體、作業系統層和軟體層三部分。
大資料架構