天天看點

資料倉庫建設方案詳細:系統架構設計

第3章    硬體部署

按照專家系統安裝接口規要求,結合專家管理系統資料量估算值和資料存儲特點,本着資料安全、系統穩定可靠的核心設計思路,設計專家系統大資料平台資料節點伺服器22台,其中管理節點伺服器2台,資料節點伺服器19台,監控節點一台,系統RDBMS資料庫伺服器台,應用伺服器6台,繪制專家系統部署邏輯結構圖如下:

資料倉庫建設方案詳細:系統架構設計

第4章    硬體清單

根據系統規劃及安裝接口規要求,初步規劃伺服器如下:系統應用伺服器需求6台;大資料平台設計節點22個,其中管理節點2個,資料節點19個,監控節點伺服器1台,RDBMS資料庫伺服器兩台雙機熱備。具體各伺服器硬體需求如下表:

資料倉庫建設方案詳細:系統架構設計

說明:硬體部分交換機、防火強及工作站,請根據标書确認!大資料伺服器、RDBMS資料庫伺服器及應用伺服器的具體配置參數請硬體朋友和标書上進行重新确認,這邊隻對存量、CPU顆數及存儲空間大小做了要求。

第5章    個人介紹

吳宏勳:“烽火內建”進階大資料架構師,曾擔任醫療大資料、公安大資料、财稅大資料項目大資料架構師,具有豐富的大資料項目實施經驗,對高吞吐、高并發、海量資料實時彙集,TB、PB級海量資料即席查詢與實時處理具有針對性方案和經驗,研讀過部分Hadoop、HBase、Spark源碼,對Hadoop、HBase、Spark的原理有很深的了解,曾從事多個項目大資料平台的調優工作!

第6章    專家系統架構設計

資料倉庫建設方案詳細:系統架構設計

本系統總共分為四個層次,從下到上依次為資料采集層、基礎平台層、應用支撐層、應用及展示層,各層在專家系統統一業務規、技術規、安全規下進行資料通信及內建。

1.    資料采集層:負責專家系統資訊資料的彙集、轉換與加載,資料采集層提供多種資料采集方法:ETL、Flume、Kafka等,系統支援Flume+Kafka+Storm混合架構的資料采集模式,以提高資料采集系統的吞吐量和并發量。

2.    基礎平台層:基礎平台層為專家資料倉庫提供大資料基礎平台支撐,包括分布式存儲系統、Hbase資料庫系統、Yarn并行計算資源管理與監控等,同時支援Spark 機器學習算法庫,支援R等行業分析庫。

3.    應用支撐層:應用支撐層為系統各類應用提供支撐,是系統資料層和應用層的連接配接紐帶。應用支撐層包括基礎平台和正常算法兩個部分,基礎平台負責資料的存儲與并行計算,資料存儲支援分布式存儲、RDBMS存儲等存儲方式,正常算法負責資料分析與業務模組化。

4.    應用及展示層:應用層是系統各項業務功能的集合,主要包括資車輛故障診斷、車輛健康評估、車輛部件檢修、車輛故障處理及車輛對比分析等。展示層是使用者同系統互動的視窗,是應用層對外提供服務的主要手段。支援多種圖表展示如餅圖、柱狀圖、曲線圖、熱力圖、氣泡圖和散點圖等可視化展示。

繼續閱讀