動環監控系統大資料架構設計
20230319
傳統的動環監控系統體系架構包含三個組成部分：監控對象(SO)、現場監控單元(FSU)、集中監控中心(SC)；
以上架構設計适合小規模的應用場景，難以解決大規模采集資料場景下的動環監控業務應用，本文提出一種叢集大資料平台技術架構，以滿足動環監控系統對大規模測點實時性采集和處理、大資料高效存儲和查詢、分布式容錯處理等要求，同時為第三方SC、SC、大資料分析、其它應用提供共享服務。另外，還制定測點和裝置編碼規範、測點和裝置命名規範、事件和轉台字典規範以及服務接口标準化規範等。技術架構設計包括資料采集、分布式消息隊列(Kafka叢集)、線上實時處理(Storm叢集)、資料存儲中心、共享服務、配置管理等部分。
01
面向不同層次的資料采集。支援面向第三方集中監控中心(SC)和第三方現場監控單元(FSU)資料采集；同時，支援面向動力系統和環境系統的現場監控單中繼資料直采(一體式或主從式FSU)。依據不同的規約協定定制開發采集程式，底層采集資料統一彙聚至分布式消息隊列(Kafka叢集)。定制ETL單元采集資料推送至分布式消息隊列(Kafka叢集)，由線上實時處理(Storm叢集)應用，基于配置管理預先定義的點表映射關系進行處理，轉換成動環監控平台自定義編碼；而現場監控單元，基于配置管理預先定義的點表映射關系，将底層動力和環境系統産生的測量資料，直接轉換成動環監控平台自定義編碼，無需線上實時處理(Storm叢集)應用進行點表映射處理。
02
叢集式消息隊列。在支援各個子系統本身業務應用要求的前提下，采集資料集中彙總到消息中間件（Kafka）緩沖，每一個采集伺服器在消息隊列中采用唯一辨別的主題（Topic）存儲，消息中間件中的資料存儲格式采用JSON格式；集中存儲的優勢在于：平台級應用方無須關注實作各個廠家不同的通訊方式和互動流程，在資料彙總的方式上基于網際網路的公開标準進行了統一，資料格式可以不統一。傳統做法是要求資料格式的統一，将複雜的資料格式處理轉嫁給了資料采集方，增加了資料采集方的工作量，另外，所謂的統一格式，也不能得到廣泛認可，消息隊列的通訊方式是公認的技術。
實時高并發資料處理機制。統一業務資料格式（裝置編号、測點編号、測點數值、測點類型、采集時間等），預先定義映射關系，将不同資料格式的底層采集資料，統一格式化成标準的業務資料；對于模拟量、計算量、開關量實時資料的處理和存儲。
03
混合資料存儲模式。針對不同類型資料，依據業務應用實際要求，選擇合适的存儲模式進行資料持久化處理，并對外提供資料。對于檔案、圖像、視訊以檔案方式存儲；實時測點資料存儲在記憶體資料庫(Redis叢集)，事件狀态資料局域(Redis)的消息訂閱機制，及時向外部應用推送；曆史測點資料存儲在時間序列資料庫(OpenTSDB叢集)，配置管理、基礎資訊、業務資料、主題分析資料存儲在關系資料庫(MySQL叢集)。
開放式共享服務接口。事件、狀态、告警等即時消息，通過消息隊列訂閱機制對外推送；提供RESTful Web服務共享接口，為遠端控制操作、實時資料和曆史資料查詢提供應用基礎；同時，平台對外開發時間序列資料庫、記憶體資料庫、消息隊列通路方式。
可拓展業務應用。共享服務支援第三方集控中心(SC)、SC、大資料分析應用、其它應用等二次開發。
标準化、規範化。動環監控平台制定規範化和标準化的編碼、命名、字典、接口定義，基于标準化、規範化基礎，提供可視化的配置管理工具。
未來可期,我在等你
你好陌生人