天天看點

TDengine 如何助力鋼鐵行業處理日均億級的資料量?來看幾個真實案例鋼鐵行業能源管理系統 x TDengine鋼鐵行業節水減排項目 x TDengine

在鋼鐵行業的生産、運輸、治理等環節中,都會涉及大量時序資料的存儲分析、運維監控等操作,每日産生的資料量甚至高達億級,而傳統的工業實時庫與關系型資料庫,都難以應對這種數量級的資料處理需求,想要保證業務發展,則亟需更為專業的時序資料庫(Time Series Database,TSDB)。本篇文章彙總了三大鋼鐵行業資料治理場景下的資料架構更新方案,供有相關業務需求的開發者參考。

中天鋼鐵 x TDengine

“目前 TDengine 在我們的生産環境中運作平穩,通過對生産環境的機器進行檢測,CPU 使用率平常不到 1%,記憶體使用率穩定在 25%。在 TDengine 平穩運作的數周時間裡,中天鋼鐵的新系統平均每周收錄 3000 多輛車輛表與 100 多條船隻表,每張表中資料或多或少,累計數量已達百萬,業務的實際效果也達到了預期。”

業務背景

為了滿足業務發展需求,中天鋼鐵需要新開發一套功能,對廠内每輛運輸車輛貨運船隻的實時 GPS 位置進行追蹤和實時監控,通過大資料平台對 GPS 坐标進行處理、分析、可視化展示。這些 GPS 資料來自于中天雲商 App,隻要運輸車輛司機打開雲商 App,系統每隔 10 秒會自動發送該車輛 GPS 信号到大資料平台,再由大資料平台分析處理,資料量之大可見一斑。本質上來講,行車記錄、行船記錄都是時序資料,也是以,從資料特點出發中天鋼鐵開始對時序資料庫進行選型調研,在進行性能對比後選擇了 TDengine。

架構圖

TDengine 如何助力鋼鐵行業處理日均億級的資料量?來看幾個真實案例鋼鐵行業能源管理系統 x TDengine鋼鐵行業節水減排項目 x TDengine

點選案例檢視更多技術細節

鋼鐵行業能源管理系統 x TDengine

“TDengine 是濤思資料面對高速增長的物聯網大資料市場和技術挑戰推出的創新性的大資料處理産品,在時序空間大資料處理上,有着自己獨到的優勢。TDengine 單核每秒能處理至少 2 萬次請求,插入數百萬個資料點,讀出一千萬以上資料點,比現有通用資料庫快十倍以上,也遠遠超出了 InSQL、PI 這兩個工業實時資料庫的讀寫能力。”

業務背景

湖北某特鋼公司的電力能源媒體的計量,是通過 TBox 工控網關采集多功能電表來實作的,需要完善并實作“峰谷平尖”電能量費率計量和能源報表。項目一期首先要求采集電能量資料,每天産生的資料量在 2800 萬條以上,項目二期如果再接入非電資料,每天産生的資料量預估在 1 億條左右,資料處理壓力劇增。TBox 工控網關基于前期項目實施和實際應用需求提供了完整的技術方案,包含從電表采集電能資料并寫入 TDengine 時序資料庫,再經過 ETL 工具處理後轉存到 Oracle database,進而滿足企業一期電能量資料報表對實時資料采集和存儲的要求。

架構圖

TDengine 如何助力鋼鐵行業處理日均億級的資料量?來看幾個真實案例鋼鐵行業能源管理系統 x TDengine鋼鐵行業節水減排項目 x TDengine

點選案例檢視更多技術細節

鋼鐵行業節水減排項目 x TDengine

“TDengine 存儲 26 億行資料情況下,占用的磁盤空間隻有 2.8GB,而實際上入庫的原資料大小應為 30GB,其列式存儲壓縮率可以達到驚人的 10%,我們準備了 1.8TB 磁盤,目前隻用了千分之一。基于超級表特性,我們還從結構上省下了 26 億行的标簽資料,想象一下如果該表的每一行資料都還要帶上這幾個資料(type,sendorid,opcid,合計 436 位元組),那其原本資料量直接就會達到 TB 級别,就算壓縮率再好也要占用百 GB 級别的存儲。”

業務背景

由邯鋼牽頭的“十三五”水專項“鋼鐵行業水污染全過程控制技術系統內建與綜合應用示範”課題中,深度(平潭)科技承擔了“提高水循環利用的分質/分級供水技術、水系統優化和水網絡智慧管理”的研究任務,創新開發了具有自主知識産權的“鋼鐵聯合企業全過程節水減排專家管理系統智慧平台”。

平台應用過程中會有海量資料産生,資料的實時寫入成為一大難題,計算分析、報警預警等功能實作也面臨巨大挑戰。最初使用的 Kafka+Strom+HDFS 的組合方案,在面對每天處理将近一億條資料壓力下,資料讀取、一緻性等性能下滑,運維部署成本顯著增加。基于此,他們決定更換資料庫方案,并在選型調研後開始應用 TDengine。

TDengine 中間性試驗資料

TDengine 如何助力鋼鐵行業處理日均億級的資料量?來看幾個真實案例鋼鐵行業能源管理系統 x TDengine鋼鐵行業節水減排項目 x TDengine

點選案例檢視更多技術細節

結語

從以上案例出發,總結而言,TDengine 針對時序資料的寫入、存儲、索引、查詢等方面都進行了特定的優化,進而實作了更優的資料加載、壓縮、查詢、寫入性能,非常比對工業傳感器資料的應用分析場景,是助力鋼鐵企業數字化轉型道路上的一個好幫手。目前我們已經營運了幾十個使用者交流群,來幫助使用者更好地解決問題,如果你想要進群溝通了解更多,可以添加下方的小T微信。

想了解更多TDengine Database的具體細節,歡迎大家在GitHub上檢視相關源代碼。

繼續閱讀