天天看點

TDengine:國内4家大型物流公司的資料架構改造執行個體彙總

作者:TDengine濤思資料

對于物流企業來說,如何高效地記錄和處理車輛的軌迹資訊、應對每天海量監控資料的采集和處理工作,對于項目整體的傳遞效率至關重要。同時,伴随着數字化、智能化的不斷加速,資料更是呈現出爆發式增長,老舊的資料架構越來越難以應對業務發展需求。在此背景下,諸多物流企業開始尋求資料架構的變革,特别是選擇符合業務需求的時序資料庫(Time Series Database,TSDB)産品,本篇文章彙總了國内四家大型物流公司的資料架構改造執行個體,給到讀者參考。

順豐 × TDengine

“完成改造後,大資料監控平台擺脫了對大資料元件的依賴,有效縮短了資料處理鍊路,自上線以來,一直運作穩定。在寫入方面,根據容量規劃完成相關參數調整後,理想情況下,叢集寫入速度最高達 90W 條/s。查詢性能方面,在使用預計算函數情況下,查詢 p99 都在 0.7 秒以内,能夠滿足我們日常絕大部分查詢需求。控制成本層面,服務端實體機由 21 台降至 3 台,每日所需存儲空間為 93GB(2 副本),同等副本下僅為 OpenTSDB+HBase 的約 1/10。”

業務背景

順豐科技大資料叢集每天需要采集海量監控資料,以確定叢集穩定運作。此前其采用了 OpenTSDB+HBase 作為大資料監控平台全量監控資料的存儲方案,随着接入資料量的不斷增長,這一方案衍生出了不少痛點,包括依賴多、使用成本高和性能不能滿足等問題,必須對全量監控資料存儲方案進行改造。通過對 IoTDB、Druid、ClickHouse、TDengine 等時序資料存儲方案的調研, TDengine 成為他們的最終選擇。

架構圖

TDengine:國内4家大型物流公司的資料架構改造執行個體彙總

為保證整個系統的高可用和可擴充性,整體架構中,前端采用nginx叢集進行負載均衡,保證高可用性;單獨分離出用戶端層,友善根據流量需求進行擴容縮容。點選案例詳情檢視三大實施難點及解決路徑。

點選TDengine助力順豐科技大資料監控改造檢視更多技術細節

韻達 × TDengine

“我們目前使用 TDengine 2.2.2.0 版本,在三台 16C 64G 的伺服器上部署了叢集,資料寫入速度大概為每秒 5000 行。值得一提的是,基于 TDengine,常用的查詢基本可以在 1 秒之内完成,一些特定查詢甚至可以達到毫秒級。從存儲來說,同等資料體量下,TDengine 大約占用 300GB 不到的磁盤(單副本),而此前使用 MySQL 時,光硬碟使用就需要幾個 TB(主從)。”

業務背景

在業務尚未擴張之前,韻達采用的是 MySQL 分區+索引方式進行資料處理,但随着企業的發展、業務量的增加,面對每日億級的資料量,MySQL 顯然已經無法滿足當下的資料處理需求。随後,韻達決定進行資料庫選型,考慮到目前業務主要是統計各個網點裝置實時上傳的資料,無需再進行修改等操作,是典型的時序資料。經過一番調研和測試,韻達發現 TDengine 就很符合當下的業務要求。

架構圖

目前韻達的架構是 Spring Boot + MyBatis + MySQL + TDengine,TDengine 負責處理時序資料,MySQL 則負責非時序資料的存儲及應用,整體架構如下:

TDengine:國内4家大型物流公司的資料架構改造執行個體彙總

點選“一個掃描槍一張表”,韻達選擇 TDengine 應對每日億級資料量檢視更多技術細節

貨拉拉× TDengine

“值得一提的是,TDengine 的 SQL 原生文法支援時間次元聚合查詢,同時資料存儲壓縮率⾼存儲空間小, 這兩點直接切中了我們的痛點。落地後實測相同資料的存儲空間隻有 MySQL 存儲空間的 1/10 甚至更少。還有⼀個驚喜是,在現有監控資料存儲(MySQL)頂不住的情況下,⼀台 8C16GB 的單機版 TDengine 輕松就抗下目前所有監控流量和存儲壓力,且運作穩定,基本沒有故障。”

業務背景

目前貨拉拉 DBA 團隊管理的資料存儲包括 MySQL、Redis、Elasticsearch、Kafka、MQ、Canal 等,為了保證監控采樣的實時性,其自研的監控系統設定的采樣間隔為 10 秒,每天都會産生龐大的監控資料,監控名額的資料量達到 20 億+。随着管理執行個體越來越多,使用 MySQL 來存儲規模日益龐大的監控資料越發力不從心,急需進行更新改造。結合實際具體需求,通過對不同時序資料庫進行調研,最終貨拉拉選擇了 TDengine,順利完成了資料存儲監控的更新改造。

架構圖

TDengine:國内4家大型物流公司的資料架構改造執行個體彙總

點選存儲空間降為 MySQL 的1/10, TDengine 在貨拉拉資料庫監控場景的應用檢視更多技術細節

中通 × TDengine

“通過項目初期的表現,可以知道 TDengine 能夠輕松滿足我們的業務需求,輕松支撐起業務中使用比較頻繁的幾種查詢。未來我們還有其他的使用規劃,後續接入的車輛将會達到幾萬輛,對于部标機産生的相關時序資料的使用也會越來越多,期待 TDengine 可以繼續為車聯網場景下的查詢提供更為多樣性的支援。”

業務背景

車聯網業務是中通科技配送全鍊路業務中非常重要的一環,通過人、車、貨、場全鍊條覆寫的車聯網裝置應用,實作物流運輸全鍊路感覺。在中智車聯服務平台的實際項目需求中,需要實時查詢車輛最新位置狀态,達到車輛營運可視化管理。在進行資料庫選型時,其對比了 Prometheus 和 TDengine 這兩款很有代表性的時序資料庫,最終被 TDengine “一個裝置采集點一張表”的底層設計,及自帶的降采樣和視窗函數等優秀性能所吸引。

架構圖

TDengine:國内4家大型物流公司的資料架構改造執行個體彙總

點選中智車聯:用TDengine高效處理車輛營運可視化管理檢視更多技術細節

寫在最後

據國家郵政局資料顯示,大陸快遞業發展迅猛,已經連續幾年保持 50% 左右的爆發式增長,為經濟增長注入了強大的活力,然而高速發展的同時也面臨着越來越多的資料處理難題,好在大資料處理方案也在與時俱進。以上企業用實際案例證明,對于物流企業,時序資料庫在降本增效上确實更加顯著,值得更多有此類需求的企業嘗試。

歡迎添加小T(TDengine),加入物聯網技術讨論群,第一時間了解TDengine 官方資訊,與關注前沿技術的同學們共同探讨新技術、新玩法。

TDengine | 時序資料庫_開源時序資料庫_實時資料庫 - 濤思資料點選了解更多 TDengine Database 的具體細節。

繼續閱讀