天天看點

每年14PB資料存儲需求,海量交通安全資料如何安放?

每年14PB資料存儲需求,海量交通安全資料如何安放?

據中國汽車工業協會統計分析,2016年8月,在商用車主要品種中,與上月相比,客車和貨車産銷均呈增長,貨車産銷22.26萬輛和23.25萬輛,環比增長9.15%和10.21%,同比增長20.51%和15.37%。

而遠端被管理車輛每天大約需要上傳20mb左右的資料。按照100萬輛計算,每月大約600tb,每年7.2pb左右。而100萬輛車對資料中心的存儲需求大約在14pb。

面對不斷增長的資料,對商用車納入遠端監控管理和提供遠端資訊服務的要求日益提高。相關交通運輸行業作為傳統行業的“老大哥”,在大資料時代的背景下,面臨海量交通安全資料的處理,轉型勢在必行。對基礎架構技術進行革新,配合上層軟體解決方案的軟硬體結合的模式将重塑高效、安全的交通運輸業未來。

海量資料存儲、實時分析

中交興路智能車貨比對案例

北京中交興路資訊科技有限公司(以下簡稱“中交興路”)是一家專注于商用車車聯網領域的營運和服務商,提供安全、運作穩定可靠的完整車聯網資訊服務解決方案。

傳統方案将資料的采集和存儲作為前端任務,而将資料的分析作為後端任務。各種傳感器技術的應用造成資料種類複雜多樣,非結構化資料所占比重快速上升,海量增長的資料也對網絡傳輸和後端處理能力造成很大的壓力。

每年14PB資料存儲需求,海量交通安全資料如何安放?

遠端被管理車輛每天大約需要上傳20mb左右的資料。按照100萬輛計算,每月大約600tb,每年7.2pb左右。根據政府監管和中交興路其它增值服務需求(一年兩份備援),100萬輛車對資料中心的存儲需求大約在14pb。

面對如此海量的資料,中交興路首先需要将資料的通路和存儲等服務從硬體資源池中分離出來,使資料通路脫離硬體以面對新型儲存設備和存儲容量擴充等需求,此外中交興路還需要考慮存儲系統的性能和帶寬以應對百萬級車輛同時上傳資料的需求。

打造智慧交通

“芯”方案

如此一來,增強資料存儲能力,提高大資料處理和分析性能成為關鍵。作為國内領先商用車車聯網服務商和全國性道路貨運車輛公共監管與服務平台的供應商,中交興路與英特爾合作,配合英特爾架構計算平台的領先優勢,部署用以應對海量資料的采集、存儲和分析等業務對資料中心的性能需求。

目前,中交興路大資料平台可以滿足現有百萬級車輛的10pb級資料存儲能力和存儲性能需求,并可靈活擴充以應對更多車輛資料的存儲挑戰。與此同時,相應的車聯網解決方案對大量車載終端海量實時資料及時采集、處理、存儲和分析,同時支援大規模終端使用者實時檢視、分析、監控和處理實時業務,并可伴随業務規模的增長而動态擴充平台性能以滿足業務需求。

中交興路大資料中心利用分布式處理的軟體架構apachehadoop/hbase和基于英特爾至強處理器e5系列的伺服器實作百萬級别車輛資料的存儲、查詢、分析和統計。底層架構使用英特爾至強處理器e7系列的出色性能和大記憶體支援等特性實作資料的實時分析和處理,并輕松實作計算性能的擴充,用以支援更高的計算密度和增強的虛拟化等特性,使得中交興路大資料平台成為理想的雲計算技術運作平台。

針對中交興路車聯網平台百萬級車輛管理的業務需求,中交興路和英特爾還一起研發實施了英特爾架構的硬體平台和第三方商業、開源軟體相結合,基于雲計算和大資料處理技術的車聯網平台壓力測試。壓力測試方案模拟可以10萬、30萬、50 萬車輛的位置和告警(如超速、疲勞駕駛),持續運作1小時。目前,中交興路大資料中心既服務于中交各業務和産品線,也服務于整個貨運生态;針對合作企業需求,通過資料開放平台,提供資料分析、趨勢預測、使用者行為畫像、區域分析、咨詢報告等服務。

“芯”動力

“芯”可能

中交興路車聯網大資料平台通過實作pb 級海量資料的集中存儲和管理,滿足車聯網業務需求。該平台幫助確定車輛安全保障和實時護駕,通過實時擷取車輛各項狀态及資訊資料實作實時管控,高效安全進行車貨比對,創新了行業商業模式,為行業發展轉型奠定了基礎。

基于英特爾架構的解決方案,憑借其高性能、可擴充性、靈活性、安全性等優勢而建構起了包括存儲、網絡、計算在内的下一代資料中心架構,完美地支援了未來車聯網發展和行業業務需求,而這一切隻是英特爾助力交通運輸行業轉型、企業業務更新的一個“小”展現的縮影。

原文釋出時間為:2017-03-28

本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号

繼續閱讀