天天看點

四個典型的車聯網案例,給你資料架構更新思路

在車聯網場景中,智能車輛會通過各類傳感器定時采集車身狀态資訊,比如行駛速度、發動機轉速、輪胎壓力值、裡程數等,此外,還會由某個事件觸發産生車輛事件資料,比如門鎖上防、撤防、車輛碰撞、異常移動等,在每次上報資料時都會帶有時間戳,這是非常典型的時序資料場景。在這類場景下,高寫入、高壓縮率、快速查詢是對于資料處理最基本的要求。

但一直以來,在應對車聯網場景下時序資料的存儲時,企業大多選擇的都是 MongoDB 或 Apache HBase,這兩大資料庫技術相對更加成熟,在業務規模尚未擴張之前,因為裝置不多、資料量不大,加上查詢場景單一,尚且可以滿足業務需求。随着業務的加速擴張,寫入速度太慢、支撐成本過高等問題也逐漸顯現。本文将會從四個典型的車聯網案例出發,給到你資料架構更新思路。

TDengine x 大疆車載

“在大疆車載目前的雲端平台中,TDengine 的應用不僅節約了存儲成本和開發學習成本,同時也表現出了很好的寫入讀取性能,滿足了智能駕駛雲端平台海量時序資料的處理需求。在查詢方面,不管是選擇特定資料的查詢還是輕量的查詢,都是毫秒級傳回資料。”

業務背景

由于目前的智能駕駛業務還是新的業務場景,是以大疆車載在選型上的曆史負擔相對較輕。在資料庫選型要求上,從業務需求出發,主要聚焦在兩點:首先,結合當下的業務場景,需要滿足單台車輛的高頻消息上報頻率;其次,支援在資料量大的時候,通過聚合函數,或選擇函數來快速篩選出需要的資料。此外,對資料庫要求支援叢集部署的同時,也要求更低的查詢語句編寫上手難度;而且需支援單表千萬量級,在海量資料并發場景下,需要有較高的統計報表能力和較好的查詢 SQL 效率。

架構圖

::: hljs-center

四個典型的車聯網案例,給你資料架構更新思路

:::

::: hljs-center

點選案例檢視更多技術細節

:::

TDengine x 蔚來汽車能源

“在實際效果上,改造完成後,查詢速度提升明顯,從使用 HBase 查詢單裝置 24 小時資料的秒級傳回,到使用 TDengine 查詢查詢相同資料的毫秒級傳回;每天增量資料占用的存儲空間相當于原來使用 HBase 時的 50%;叢集計算資源成本相比使用 HBase 節省超過 60%。”

業務背景

為了給使用者提供更好的補能體驗,蔚來能源在加電基礎設施上進行了大量的投入,需要對裝置進行更高效的管理——将裝置采集資料上報至雲端進行存儲,并提供實時資料查詢、曆史資料查詢等業務服務,用來做裝置監控和分析。在業務誕生之初,其用作資料存儲的選型是 MySQL + HBase,MySQL 儲存設備最新實時資料,HBase 儲存設備原始資料。随着換電站和超充站等裝置在全國的快速布局,裝置數量持續增長,積累的資料量越來越多,長時間跨度資料查詢效率出現瓶頸,再加上查詢場景不斷豐富,HBase 已經無法滿足目前業務需要(具體痛點問題見下方案例連結)。

測試結論

采用批量寫入資料方式,調整合适的單批次資料量大小,使用單機部署(8 核 32 GB,500 GB 存儲)預設配置的 TDengine 服務,RESTful API寫入方式,在 4k 并發流量下寫入沒有問題,同時消費積壓資料時峰值達到 7 k/s,因為單條消息包含資訊量太大,實際進行中會拆分為 30 條寫入 TDengine,是以實際寫入 QPS 為 210 k/s,比滿足同樣資料流量的 HBase 叢集規模要小不少,可以節省成本,再加上 TDengine 本身部署不依賴其他三方軟體,也可以同時節省運維成本。

架構圖

::: hljs-center

四個典型的車聯網案例,給你資料架構更新思路

:::

::: hljs-center

點選案例檢視更多技術細節

:::

TDengine x 零跑汽車

“在應用 TDengine 後,不用再像 MongoDB 一樣,在查詢前需要根據業務加工出需求資料;入庫性能高,解決了以前HBase入庫不及時的問題,可以用更少的伺服器資源入庫更多的資料,節省更多成本。同時,TDengine高壓縮的算法能提升 10 到 20 倍的壓縮性能,降低了存儲壓力和成本。”

業務背景

一直以來,在資料存儲上零跑汽車的選擇都是 MongoDB 和 HBase,但是随着業務的加速擴張,寫入速度太慢、支撐成本過高等問題也逐漸顯現(具體痛點問題見下方案例連結)。從降本增效的角度考慮,零跑決定在 C11 新車型上試用下其他的資料庫,在分析資料特點後,最終确定采用時序資料庫(Time-Series Database)。

架構圖

::: hljs-center

四個典型的車聯網案例,給你資料架構更新思路

:::

::: hljs-center

點選案例檢視更多技術細節

:::

TDengine x 理想汽車

“通過跟濤思官方人員進行深入業務封閉式測試,TDengine 的功能超出預期,性能比 InfluxDB 要強出許多,兩級存儲架構設計(行存與列存)很棒,TTL 和标簽機制對業務透明,具備極其優秀的高并發寫入和資料壓縮能力,極大降低了業務成本和業務壓力。是以我們決定從 TiDB 遷移至 TDengine。”

業務背景

在理想汽車的信号上報業務中,需要将标記時間戳和采集點的資訊,通過雲端寫入到後端資料庫中,有一定的聚合查詢需求。這是典型的高并發插入場景,寫多讀少,之前的系統用的是 MongoDB,後來因為 MongoDB 的局限性,其将業務遷移到了 TiDB,友善進行擴縮容。但在遷移到 TiDB 之後,在目前使用百度雲 SSD 虛拟機的情況下,TiDB 叢集純寫入性能并不能達到業務期望預期(HTAP 場景資料庫對純高并發寫入支援不好,與該業務場景的适配性不高),需要不斷的資源擴容(具體痛點問題見下方案例連結)。

使用成本對照表

::: hljs-center

四個典型的車聯網案例,給你資料架構更新思路

:::

::: hljs-center

點選案例檢視更多技術細節

:::

寫在最後