天天看點

加速資料要素價值釋放,用友打造高性能時序資料庫

作者:新觀察互聯

數智化時代,資料作為一種新型的生産要素,是數字化、網絡化、智能化的基礎,已快速融入生産、配置設定、流通、消費和社會服務管理等各環節。海量資料的存儲和快速處理是發揮資料要素價值的基礎,資料庫作為組織、管理和存儲資料的倉庫,在促進資料要素價值發揮的整體鍊條上,成為必不可少的一環。

加速資料要素價值釋放,用友打造高性能時序資料庫

在制造、電力、化工、氣象等行業,針對基礎裝置所采集、産生的資料一般具有典型的特點,比如産生頻率快(每秒鐘内可産生多條資料)、嚴重依賴于采集時間(每一條資料均對應唯一的時間)、觀測點多資訊量大(正常的實時監測系統均有成千上萬的監測點,監測點每秒鐘都産生資料,每天産生幾十GB的資料量)。

針對這種資料産生快、海量且依賴時間的資料特點,傳統關系型資料庫無法滿足有效存儲與處理,是以迫切需要一種專門針對時間序列資料來做優化的資料庫系統,即時序資料庫。

深化信創 自主研發國産時序資料庫

目前,新一輪科技革命和産業變革突飛猛進,推動企業數智化程序加速向前發展。資料庫作為核心基礎軟體,實作信創國産化勢在必行。用友一直在積極推進軟體國産化的相關工作,與清華大學(軟體學院)聯合成立了時序資料與物聯應用聯合研究中心。在清華大學自主研發的國内首個開源時序資料庫Apache IoTDB的基礎上,用友自主研發了專用企業服務能力的商用版時序資料庫——TimensionDB。

TimensionDB是一款輕量級、高性能、易使用的時序資料管理引擎,可快速攝取、存儲和處理海量時間序列資料,廣泛應用于電力(如:智能電表、發電裝置實時監測)、石油化工(如:油井、運輸管線、運輸車隊實時監測)、智慧城市(如:實時路況、卡口資料和路口流量實時監測)、智能安防(如:樓宇門禁、車輛管理、井蓋、電子圍欄監測)、車聯網(如:車速、電機、動力電池、駕駛習慣等資料的實時監測)、金融(如:ATM、POS機、交易記錄等資料的實時監測)等行業。

用友通過實作相關基礎技術元件自主、安全、可控,打造國産化資料庫的創新模式,充分發揮國産化軟體企業從數智化管理、數智化經營到數智化商業創新的替代價值,真正幫助大型企業實作價值化國産替代。

性能卓越 快速處理海量資料

海量資料的采集、存儲、查詢一直是資料庫面臨的難點,用友時序資料庫可實作高性能的資料讀寫,并可對資料進行實時分析,快速處理海量資料,具有五大核心優勢。

寫入性能高

基于兩階段LSM合并的tLSM算法,有效保障了任何情況下均能輕松實作單機每秒1000萬資料點的高速寫入能力,實作百萬級智能物聯網裝置接入和高速寫入。

硬體成本低

專為時序資料設計和優化的TsFile存儲格式,支援多種資料類型和相應的SNAPPY、LZ4、GZIP、SDT等壓縮算法,可實作1:150甚至更高的壓縮比。通過高壓縮比的硬碟存儲,10億資料點存儲成本将低于1.4元,極大降低了硬體成本。

查詢速度快

用友時序資料查詢引擎采用列式存儲、預計算和索引技術,可有效減少資料查詢時讀取的資料量,極大地降低磁盤I/O次數,輕松實作10億級資料量、千萬資料點查詢的毫秒級響應。

分析能力強

分析引擎基于用友深厚的行業知識積累,自主研發高性能多元分析引擎和分析DSL,提供便捷的次元管理和分析腳本管理能力;簡潔的DSL文法可使零基礎人員輕松對業務資料進行複雜的多元分析。

擴充能力好

彈性伸縮采用大規模并行處理(MPP)架構和火山模型進行資料處理,具有很高的擴充性,支援秒級增加節點而無需進行資料遷移,适應不同規模時序資料的存儲與分析需求。

五大場景應用

激發資料要素價值、賦能業務發展

用友時序資料庫憑借領先的技術和分析引擎,打造輕量型高性能的資料庫,深入不同應用場景,充分在不同行業、不同場景中激發資料要素價值,能使企業高品質發展。

場景一、IoT智能制造分析

時序資料助力智能制造,打造現代化智能工廠

在制造行業,數字化工廠需要IT系統和智能裝置的內建銜接,通過終端裝置和傳感器對生産資料的實時采集和分析、裝置故障預警處理等,實作對生産現場的實時監控。而工業資料的采集都需要帶有時間戳,大量工業資料模組化、工業知識元件和算法元件,均以時間序列資料作為輸入資料,對時序資料庫的需求和應用更加多元。用友時序資料庫實作了工業資料的高性能采集入庫、高效資料分析,為企業管理層決策提供資料支援,幫助使用者通過持續優化生産管理流程來釋放優質産能,助力實體制造業由粗放式經營模式,逐漸過渡為生産裝置網絡化、現場管理數字化、決策營運智能化的集約型現代智能工廠。

場景二:應用運維監控

統一應用運維實時監控,全局把控系統運作狀态

在網際網路行業,網際網路公司一般需要對大規模應用叢集和機房裝置進行監控,實時關注裝置運作狀态、資源使用率和業務趨勢,實作資料化營運和自動化開發運維。通過時序資料庫,可實作每天萬億條監控名額資料寫入,且支援多種時序異常類型的檢測告警,并将異常情況直覺展示,友善運維人員識别異常,告警政策設定簡單,業務人員可輕松上手。

場景三:IoT車聯網分析

IoT傳感器時序資料分析,助力萬物互聯

在新能源汽車行業,廠商一般需要對其出廠的車輛進行整車性能分析,通過在車輛上安裝傳感器,在車輛行駛過程中實時采集車輛的行駛狀态等監控資訊,将傳感器資料通過窄帶物聯網實時發送至資料中心(TimensionDB),而後在資料中心的伺服器上通過多元分析引擎進行複雜的計算和分析,可實作百萬級智能物聯網裝置接入和高速讀寫,每秒可寫入達資料點1000萬以上。

場景四:企業低碳轉型

低碳經濟,綠色發展,數智化能力助力行業轉型

在風力發電行業,企業一般擁有多座風力發電機,并且在每台發電機上安裝了上百種傳感器,分别采集該發電機的工作狀态、工作環境中的風速等資訊。為了保證發電機的正常運轉并對發電機及時監控和分析,企業需要收集這些傳感器資訊,在發電機工作環境中進行部分計算和分析,還需要将收集的原始資訊上傳到資料中心,這就需要大量的資料存儲。用友時序資料庫可以極低的成本滿足企業海量資料的快速存儲,用數智化能力助力企業綠色發展。

場景五:行為分析

基于使用者行為,實作投放效果實時回報、投放政策優化

在廣告行業,企業經常需要對投放資料進行實時分析和監測,通過日志或者其他方式對原始名額資料進行采集和實時計算,将實時計算的結果資料存儲到時序資料庫,實作投放效果的實時回報。通過多元時序預測算法,利用多名額間關聯關系可極大提高預測準确度,相比傳統預測算法準确度更高,助力企業實作投放政策優化。

資料庫作為組織、存儲、管理、分析資料的系統,在資訊系統的軟體和硬體之間起到承上啟下的作用,是IT行業重要的基礎軟體,随着國産化戰略的深入,資料庫的本土化程序也不斷加快,用友時序資料庫将不斷創新,持續投入,深化行業和場景應用,激發資料要素潛能,為企業的高品質發展、國家數字經濟新格局增添強勁動力。

繼續閱讀