阿裡雲原生多模資料庫Lindorm針對工業物聯網資料高并發寫入，實時存取等特點，創新性地融合時序、索引、寬表等多模引擎能力，為存儲、分析低價值密度、高通量、高實時性的工業物聯網監控資料提供了高成本效益的最優解決方案，大幅度降低了資料存儲和存儲系統運維成本。
圖1 阿裡雲Lindorm資料庫驅動的IT運維監控系統
客戶簡介
圖撲軟體成立于 2013 年，總部位于廈門，在北京、上海、天津、大連、 青島等地設有分支機構。公司聚焦工業物聯網監控運維可視化應用領域，為客戶提供從咨詢、設計、實施到售後的全方位可視化管理支援服務。圖撲軟體專注基于Web 的 2D 和 3D 圖形界面元件技術，緻力于讓完全獨立自主知識産權的 HT for Web 軟體走向世界之巅。公司系列産品 HT for Web 已應用于電信、電力、交通、水利、石化、制造、醫療、工控等行業場景。
業務要求與挑戰
5G、雲計算、邊緣計算等智能、互聯技術的快速發展，推動了工業物聯網IIoT場景下各種軟體、硬體傳感器數量激增，與之對映的采集資料量和資料類型快速增長，導緻資料存儲、檢索難度更大。現有解決方案中，通常依賴自建單ElasticSearch檢索引擎或OpenTSDB、Prometheus等時序引擎搭建資料存儲，而采集資料類型多樣化使得單模引擎存儲方案技術複雜且運維成本高，市場需要新一代雲原生且具備多模檢索能力的存儲系統。
某著名IT咨詢公司預測，工業物聯網市場規模在2025年可能達到3.7萬億美元，但統計資料顯示，現在隻有不到30%的供應商從中盈利，大多數企業都陷入了技術陷阱之中。新技術在創造新機遇帶動産業更新的同時也帶來了新的技術挑戰，更加複雜的系統架構和更高的性能、穩定性要求制約了工業物聯網系統實施落地，企業需要專業技術公司來幫助解決資料采集、傳輸、存儲、分析及可視化全鍊資料處理系統建設難點。
解決方案
廈門圖撲軟體緻力于解決工業物聯網全鍊路資料處理最後一公裡的資料可視化環節技術難點。面向工業物聯網IIoT場景，圖撲軟體提供監控系統監控可視化解決方案，其産品可用于快速建立和部署，高度可定制化，并具有強大互動功能的拓撲圖形及表盤圖表等應用，非常适用于實時監控系統的界面呈現，廣泛應用于電信網絡拓撲和裝置管理，以及電力、瓦斯等工業自動化 (HMI/SCADA) 領域。
對于需要實時采集海量資料的生産線、風電廠和智能交通态勢感覺資料的場景，為了實作實時資料采集、存儲、索引和聚合，原存儲方案中采用了ElasticSearch、Prometheus、Hbase分别存儲從現場傳感器、第三方系統和使用者終端裝置采集的時序名額、日志、使用者體驗、網絡流量等資料，随着資料量增加，可視化展示界面場景複雜化，資料存儲和運維成本激增，檢索難度快速上升，嚴重制約了傳遞效果。
圖2 資料存儲系統改造前後方案對比
針對存儲層面臨的問題，廈門圖撲軟體基于阿裡雲Lindorm雲原生多模資料庫改造存儲層架構，以單庫多模超融合模式存儲全量采集的監控資料（技術方案對比如圖2所示），極大地簡化了存儲層架構，進而降低了運維成本。利用Lindorm自研的資料壓縮存儲和存儲優化能力，海量低價值密度的監控資料存儲成本也有大幅度降低。
為适應日趨複雜化多樣化的終端裝置、邊緣裝置、傳感器以及第三方系統資料源采集、上報的異構資料，如圖3所示，阿裡雲Lindorm在雲端單執行個體融合了寬表、索引、時序等多種資料引擎能力，通過阿裡雲DTS/DMS或第三方開源資料交換/ETL軟體（如Apache nifi、Sqoop等）打通多引擎資料互動通道，根據應用場景業務來适配資料。面向上層資料可視化、分析系統，Lindorm提供更為便捷的開發期SDK和REST API資料對接方案，同時相容OpenTSDB、Prometheus、Hbase等原生接口，無縫對接主流生态，進一步簡化了圖撲軟體內建部署成本。
圖3 阿裡雲Lindorm多模資料融合存儲架構
适用場景：
實時場景監控大屏展現
态勢感覺及風險監控
裝置監控資料探傷檢測
故障資料全量回溯分析
AI輔助異常檢測等場景
客戶價值：
超融合存儲海量異構資料，大幅降低工業物聯網場景資料存儲、聚合成本；
高性能、高通量監控資料入庫，提升可視化大屏資料時效性；
提供99.95% 高可靠性，保障業務持續穩定運作；
雲端接入遍在可達，簡化網絡配置管理；
開箱即用免維護，進一步降低系統維護成本；
相容OpenTSDB、Prometheus接口，無縫對接主流生态；
建設效果
目前圖撲軟體聯合阿裡雲端支撐某行業領先泛在電力物聯網及智能樓宇行業客戶實作終端裝置傳感器雲端資料采集、存儲、檢索，實作并發量100萬TPS以上的傳感器采集資料的并發寫入，最高存儲時序時間線40萬能力，節約資料存儲和系統維護成本達6成，實作效果如圖4、圖5所示。
圖4 泛在電力物聯網監控系統建設效果
圖5 智能樓宇場景監控監控系統建設效果
來源： 阿裡巴巴資料庫技術 微信公衆号
原文連結：
https://mp.weixin.qq.com/s/EHOAhRdBlIUrxZZthKXgxQ