第2章 大資料平台
2.1 大資料平台基礎架構
大資料基礎平台基于烽火自主知識産權FitData産品，FitData主要內建了基礎計算資源、網絡資源、存儲資源，在統一的安全體管理體系下，将這些資源再進行深度加工、處理、關聯，形成多種類型的基礎服務能力，建構基礎資源層，向應用提供基礎資源的服務能力。資料服務總線通過服務治理來維護基礎資源服務能力，并通過訪 問控制、服務品質、協定轉換等，對應用提供多協定支援。平台支撐體系的運維體系提供整體運維能力，保障平台的正常運作；安全體系提供整體安全能力，保障平台的資料安全和使用安全；平台采用分布式架構，支援巨量資料存儲與分析， 保障專家管理系統的高性能、高可用性和易擴充性。FitData大資料基礎平台結構如下圖紅線标出部分。
- 資料計算與存儲：是FitData 大資料平台的核心容，提供分布式存儲能力和分布式計算能力。提供的存儲架構能力，包括基于結構化資料存儲、非結構化資料存儲和半結構化資料存儲，其計算架構與存儲架構均是分布式叢集方式部署，可以平滑的進行彈性擴容。
- 資料服務層：資料服務層主要由資料服務接口來實作，對應用提供資料支撐。通過資料服務接口将平台的資料資源以标準 API 接口的方式開放出來，供不同的應用系統使用。資料應用層主要提供基于該平台來建構的專家系統應用。采用平台的标準API，資料資源層擷取資料服務，目前API 接口包括資源目錄浏覽、資料查詢搜尋等。
- 資料彙聚層：提供各層之間資料交換能力，由ETL資料內建工具來實作。平台支援多中異構資料源，針對不同資料源的不同資料，也提供多種資料抽取方式，例如資料庫直 連抽取、Sqoop 抽取等。提供計算架構能力，主要內建了批處理計算框 架、流式計算架構、存計算架構等能力，還提供了像 Hive、Mahout、 Spark 等二次計算能力架構。平台可将這些計算能力開放，供資料模型、資料挖掘、應用系統來使用。
- 運維體系：運維體系提供面向專家系統完整運維方案， 涵蓋了運作監控到使用操作。安全體系提供面向專家系統大資料平台的使用者權限管理、終 端通路控制、日志安全審計等能力。
資料存與計算是 FitData 大資料平台核心能力，将目前專家系統部業務資料源進行有效整合，內建以資料為核心的查詢、 分析和管理能力。采用分層整合，靈活配置，橫向擴充，縱向貫穿的大資料平台服務能力，其計算架構、存儲架構都以容器的方式，可輕松靈活的線上進行裝卸，以平滑擴充大資料平台的內建能力。除此還內建了二級計算架構、通用的資料處理算法庫和資料倉庫，将大資料平台的資料進行清洗、加工和分析挖掘，處理後的資料可訂閱，充分展現資料即服務的大資料思想。
- 分布式存儲架構：主要負責針對巨量資料的存儲，以分布式存儲技術， 支援快速、巨量、多種類型的資料存取。支援從資料源抽取資料到大數 據平台存儲，內建多種存儲方式，有針對結構化資料、非結構化資料和 半結構化資料的存儲。
- 計算架構：主要提供批處理計算、存計算、流式計算架構，由資料處 理管理驅動來配置設定和排程計算架構，加載資料處理算法，完成資料處理。
- 資料倉庫：主要對計算架構完成後的結果進行存儲，支援 Hbase、MS SQL Server 等存儲，同時将資料以接口的形式開放出去。
- 資料處理算法庫：內建通用的資料分析算法、能夠插入使用者自定義的數 據模型算法，配合以資源管理系統為主的計算存儲架構，進行資料處理。
- 資源管理系統，以容器的方式，來為計算架構和存儲架構配置設定資源，并 支援資源排程，彈性伸縮。
- 資料服務總線：主要将基礎平台的能力和資料服務接口，以 API 的方式開放出去，形成一個共享的、供應用使用的服務總線。
2.2 FitData特點
- 廣泛适應性：支援結構化、半結構化、非結構化資料；支援實時資料。
- 巨量資料：資料處理能力在PB級以上。
- 線性擴充：存儲、計算均可增加節點進行線性擴充。
- 統一運維管理：降低安裝部署、營運、維護成本。
- 經濟性：可運作在普通X86伺服器上，硬體成本低。
- 高可靠性：支援容災容錯、備份恢複機制，支援自動告警。支援節點可靠性、資料可靠性。
- 高性能：高效資料處理性能，支援Spark、Storm、R。
- 認證安全：支援Kerberos安全認證、LDAP賬戶管理控制。
- 資料安全：支援資料加密。
- 負載均衡：支援節點間存儲、技術負載均衡。
- 開放性：支援符合Hadoop規的第三方元件或工具。
2.3 FitData主要功能
FitData是基于開源Hadoop開發的企業級大資料産品，提供PB級資料的采集、存儲和處理能力，支援資料加載、查詢、分析、挖掘等功能。
2.3.1 節點批量自動部署
通過以Web管理，以圖形界面的方式實作大資料平台節點批量自動部署，隻需添加主機名(或者IP位址)即可實作将節點伺服器添加到叢集中，截圖如下：
圖 向叢集中添加節點
2.3.2 節點動态管理
通過web管理實作節點的動态添加、删除，當存儲空間或者計算資源不足時，支援向叢集中添加同等配置的伺服器，實作大資料平台線上動态擴容，而不需要停機處理，不影響平台正常運作。
大資料平台以Web圖形界面實作Hadoop叢集監控，包括大資料平台的硬體資源、軟體資源、資料資源的監控，以及整個Hadoop叢集的工作負載。主要包括以下幾個方面：
2.3.3 服務元件狀态監控
通過管理平台可以看到所有目前已安裝的服務元件的健康狀況。
圖 服務元件運作狀況
2.3.4 計算資源負載監控
通過管理平台可以實時看到整個平台的資源負載情況，包括叢集的CPU、叢集磁盤IO、叢集網絡IO、HDFS IO，如下圖所示：
圖 計算資源監控
2.3.5 多任務實時監控
通過對叢集運作任務的實時監測，并根據任務優先級和耗時不同對任務進行動态排程，減少出現大量任務等待和重要任務無法及時完成的可能，可以使Hadoop叢集的運作變得更加高效合理。
（1）、系統根據各隊列資源的最小值配置設定叢集資源，這樣可以按照需求對各任務隊列擷取的叢集資源進行配置設定，而且不會出現叢集資源的閑置浪費。
（2）、可以實作對各任務隊列擷取的叢集資源大小實時動态調整，及時保證高優先級任務所在隊列獲得更多的叢集資源。
（3）、可以實作在某個任務隊列出現空閑時，将該任務隊列擷取的叢集資源自動配置設定給其他繁忙的任務隊列，以使得叢集資源利用最大化。
2.3.6 磁盤性能監控
對叢集機器的硬碟進行監控，如下圖所示，詳細的展示出磁盤IO的使用率，讀寫速度，磁盤的等待時間。
圖：磁盤性能監控
2.3.7 故障快速定位
大資料平台具備完整的告警監控和故障快速定位能力。能夠将計算架構的每個作業進度、狀态、資源利用情況進行監控，并通過可視化圖形界面進行展示。
當大資料平台出現異常情況時，平台能夠通過監控系統，對伺服器節點當機、叢集異常、安全異常等異常事件進行預警、報警，并通過、短信報警手段進行告警通知。提供預制的恢複規則和安全規則，對叢集異常進行自動修複、自動限制非安全行為的操作。
大資料平台能夠通過對告警資訊的分析，快速定位平台部出現故障的節點，對于因故障無法繼續提供伺服器的節點進行标記，将平台的作業任務自動配置設定到其他的節點上運作，同時，大資料平台采用分布式體系結構及無單點故障設計，平台任何節點的當機都不會影響平台的穩定運作和業務的正常使用。待故障節點恢複正常後，再将該節點納入平台的資源中，将作業任務配置設定到恢複後的節點上運作。
2.3.8 日常運維監控
大資料綜合平台提供完整的日常運維監控的服務能力，針對從上層應用平台到底層基礎平台的各個功能子產品群組件均提供有監控能力，能夠分析系統的運作日志和使用者日志，并且能夠将監控資料通過檔案接口或webservice接口的方式彙總到平台管理運維子產品的監控管理界面中進行統一呈現和管理使用。系統能夠根據監控到的資料進行分析判斷，對異常的資料觸發告警，在前台界面提醒，直至出發通知和處理等進一步動作。
平台的監控圍涵蓋有：
 平台管理資源的使用與配置設定
 伺服器視圖：提供針對各伺服器和存儲等裝置的資源使用情況的實時檢視，包括目前裝置的CPU負荷，存占用情況，存儲空間使用情況，網絡帶寬占用情況、裝置運作狀态等。管理者能夠根據監控資訊在管理平台上有效排程配置設定系統資源。其中叢集的監控如下圖所示：
針對伺服器的監控如下圖所示：
 服務視圖：提供系統中各服務資源使用情況的實時檢視，包括連接配接數、目前作業數，I/O情況，運作狀态等。
監控系統的運作情況
- 接口服務運作監控：提供針對資料源和應用層的監控服務，包括運作狀态和流量等資訊；
- 資料存取過程監控：提供針對資料存儲過程的監控服務，包括系統平台的I/O情況（整體I/O和具體各節點I/O以及具體的各作業的I/O情況）和資料存取過程的任務清單；
- 資料彙聚過程監控：監控系統的資料彙聚過程，包括使用資源資訊，使用的資料源資訊，作業程序運作狀況資訊，使用時間/計劃完成時間等資訊；
- 資料處理過程監控（作業監控）：監控系統的資料處理（作業）過程，包括使用資源資訊，使用的資料源資訊，作業程序運作狀況資訊，使用時間/計劃完成時間等資訊；
- 應用監控：針對運作在平台上的應用進行監控，包括各應用目前的運作狀态、應用對資料的使用狀況，應用為使用者提供的查詢數量等；
系統異常告警與處理
- 使用者告警：對使用者操作使用過程中的異常行為進行告警，例如某使用者通路了超過其正常權限的資料等。
- 系統告警：對系統中存在的服務節點當機，系統接口異常，資料存儲報錯，系統資源緊等系統運作異常情況進行告警觸發，并提醒使用者進行操作處理。
2.4 FitData優勢
烽火大資料平台FitData借助先進開源的大資料存儲及處理技術，成功實施了公安大資料平台、楚天雲政務大資料平台，通過大資料項目的實施，逐漸沉澱了大量的算法模型及分析與展示工具，在平台性能及穩定性上經曆了實戰的考驗，逐漸總結出一套FitData自己的系統優化政策及系統運維政策，平台經受住了單節點超過1000台叢集的實戰考驗，并支援HA高可用性運作政策，經過四年時間及高強度項目的錘煉，FitData大資料平台已經走出了自己的路。在資料處理上支援PB及超大量資料的秒級查詢及彙集。
SmartAS是企業級基礎開發平台，它基于FitData平台之上，采用微服務架構，支援分布式部署，是成熟可靠的多終端應用開發架構。它內建業界流行和成熟的技術架構，通過應用系統使用，回報的情況不斷完善應用架構的通用功能，滿足業務系統快熟建構的目标，具備良好使用者體驗