天天看點

整體壓縮率達到 3/100,三大礦山系統資料架構改造提升安全系數

作者:TDengine濤思資料

煤礦行業具備産業規模大、分布地域廣、安全性要求高等特點,而大部分煤礦系統都是獨立運作的,為了實作各個系統資料的有效利用和深度融合,以此達成預警、資料分析等目的,煤礦行業亟需智能化賦能。在擁抱工業物聯網、人工智能、大資料等新技術的同時,其智能化發展道路也面臨着衆多挑戰:

  • 一是,裝置管理層面的挑戰,随着自動化程度越來越高,裝置複雜度和管理難度也逐漸增大,如何保障裝置安全可靠的運作,提升裝置的使用率,促進裝置保值增值也成了挑戰之一;
  • 二是,安全生産的挑戰,安全是根本,如何通過數字化手段,将人和物的不安全因素統一管理好,提升整體煤礦企業安全生産水準至關重要。

從以上挑戰出發,一些煤礦企業已經開始進行資料架構轉型實踐,也取得了一些進展,值得一提的是,時序資料庫(Time Series Database)在其中發揮了重要作用。本文将這些案例進行了相關彙總,供讀者參考。

TDengine 在智慧礦山系統中的應用 - TDengine | 濤思資料

“我們以智慧礦山業務中的 5000 裝置、每天 1000 萬采集點的資料量級下,在以車模組化和以位置模組化結合的資料模型下,TDengine 的性能遠沒有達到極限,目前系統對于車和位置的查詢TDengine 在智慧礦山系統中的應用速度都在毫秒級。基于目前對 TDengine 的了解和使用經驗,我們計劃在環保監測和生産集控裝置場景中進一步使用它來完善系統。”

業務背景

元智資訊的智慧礦山項目需要一款資料庫來支撐起生産互動管控系統的采運排環節所有過程裝置的采集、存儲、計算和監控功能。這些資料涵蓋範圍廣,包括挖機、卡車的采集資料、排程管理資料、裝置 GPS 資訊、以及每一個固定位置工序的采集資料等。在 MySQL、InfluxDB、TDengine 的資料庫選型調研中,TDengine 脫穎而出(點選下方案例檢視具體原因)。

架構圖

整體壓縮率達到 3/100,三大礦山系統資料架構改造提升安全系數

11 億條資料壓縮到 12GB,TDengine 在陝煤礦山項目的落地實踐 - TDengine | 濤思資料

“最終落地時項目采用了 3 個節點的叢集環境,定位裝置采用超級表進行管理,将資料标簽及資料類型作為 tag 區分各類定位裝置。每個定位裝置采用子表存儲,實際項目已包含 2 萬多個定位裝置。從寫入性能到查詢性能均大幅滿足現場實際需求:總計定位資料量超過 11 億條,資料壓縮後 TDengine 資料目錄占用磁盤大約 12GB,整體壓縮率可以達到 3/100。”

業務背景

為打通煤礦生産環境中各類單一子系統之間的資料壁壘,實作各類子系統資料之間的互聯互通,陝煤開發團隊打造了全礦井數字化平台。以位置資料為例,由于初期系統容量較小且硬體裝置上傳周期較大,是以采用了傳統的 SQL Server 資料庫來進行軌迹資料存儲。随着後續項目疊代,硬體裝置定位精度提高且上報周期縮短,也導緻資料庫存儲壓力增大。考慮到資料類型及特點,其決定使用時序資料庫,在 OpenTSDB、TDengine、InfluxDB 三款資料庫中做選型調研。

架構圖

整體壓縮率達到 3/100,三大礦山系統資料架構改造提升安全系數

TDengine在華夏天信露天煤礦智慧礦山作業系統的應用 - TDengine | 濤思資料

“對于每個電機,客戶要求系統能夠快速讀取相關裝置屬性趨勢圖,這是我們發現 TDengine 最強大的地方:針對一天 2 萬條資料展示速度在 200ms 内。之是以 TDengine 對這類查詢速度飛快,主要是設計時按照裝置分表後,資料按塊存儲并按塊查出來,相對 Key-Value 型資料庫節省很多尋址時間。”

業務背景

華夏天信 RED-MOS 露天煤礦智慧礦山作業系統,在對接某地面生産集控系統資料時,接入的監控點數量将近 1 萬 5 千點,其中接近 2300 點需要綁定組态顯示,即時頁面更新,整體資料采集到顯示到前端要求秒級展示及大資料量展示(曆史資料回溯),可展示 30 天的全量資料,點數量超過 50 萬條,讀取時間要求在 5~10 s,這對底層的資料庫提出了一個相當大的挑戰。

這種場景中,最大難點是要處理的資料量太大,而不是關聯關系複雜,是以 MySQL 這類關系庫的關聯查詢優勢其實無法發揮,而 HBase 這種大資料存儲方案對于礦山系統而言又太過龐大,且硬體資源要求很多,出于成本考慮也排除了。最終其選擇了 TDengine,解決了最為頭疼的曆史資料回溯性能問題。

效果展示

TDengine 能夠滿足大資料量展示的需求——可展示 30 天的全量資料,點數量超過 50 萬條,讀取時間要求 5 秒級。

整體壓縮率達到 3/100,三大礦山系統資料架構改造提升安全系數

結語

對于礦山生産系統而言,安全是第一位的,基于此,各個生産環節和場地都要進行全面、有效的數字化監控,這些監控資料的特點就是時序、結構化、簡單但量大。作為時序資料庫賽道中的重量級選手,再從煤礦企業的實踐效果出發,TDengine 就是為助力煤礦行業智能化發展而量身定做的資料庫。

TDengine | 時序資料庫_開源時序資料庫_實時資料庫 - 濤思資料點選了解更多 TDengine Database 的具體細節。

繼續閱讀