面向車路協同的路側感覺仿真系統
1 仿真系統架構
2 模拟場景建構
2.1 靜态環境靜态環境
2.2 動态交通
2.3 路側單元
3 資料采集與處理
3.1 模拟點雲資料生成
3.2 真值資料生成與處理
3.3 仿真資料輸出
4 實驗
4.1 雷射雷達安裝高度分析
4.2 基于模拟點雲資料的車輛識别
5 結論
PDF文檔位址：http://c-s-a.org.cn/csa/article/pdf/7907?st=article_issue
智能交通系統(Intelligent Transport System, ITS)通過人工智能與資訊通訊技術可以有效提升道路交通的安全和效率[1,2], 目前已經得到廣泛的認可, 它包含“聰明的車”和“智慧的路”兩部分. 車路協同是ITS發展的進階階段, 用來實作車與車以及車與路側系統之間的通信, 使車輛能夠更好地感覺周圍環境, 接受輔助駕駛的相關資訊, 讓道路監管部門能夠更有效地處理交通事故[3,4].
其中, 路側感覺是車路協同應用開發的重要組成部分, 通過在路側部署傳感器, 将采集到的路面資訊經V2X通信給到車輛, 使車輛擁有超視距的感覺能力. 在實際應用中, 為達到最優的路側感覺效果, 不同的場景往往需要不同的RSU配置, RSU的選型及安裝是一個耗時耗力的過程, 另外, 交通參與者的識别是路側感覺的核心, 基于機器學習的識别算法需要大量的标簽資料, 而人工打标簽被驗證是一個效率極其低下的方式.而随着近些年計算機硬體性能的不斷提升, 将仿真技術應用于智能交通領域成為了各類研發機構加速開發程序的必要手段[5,6].
目前智能交通領域的模拟仿真主要圍繞自動駕駛算法驗證, 車路協同V2X通訊, 車載傳感器資料采集等幾個方面展開。
Gelbal等基于dSPACE Scalexio系統和Carsim仿真軟體建構了一套用于自動駕駛算法開發的硬體在環模拟仿真系統[7], Amini等提出了一種基于虛拟圖像合成和變換, 以資料為驅動的仿真工具, 用于端到端的自動駕駛控制政策研究[8], Szendrei等基于SUMO設計了一套用于車路協同應用快速模組化和測試的硬體在環V2X模拟仿真架構[9], Choudhury等搭建了內建VISSIM、Matlab和NS3, 用于V2X協定和應用的模拟仿真測試環境[10], Su等提出了一種采用GPU計算虛拟環境中三維物體點雲的車載雷射雷達仿真方法[11], 百度采用真實點雲背景結合虛拟交通體的方式來模拟車載雷射雷達感覺虛拟環境的方式[12],Dworak等則利用CARLA仿真軟體模拟雷射雷達采集純虛拟的點雲資料, 通過與公開測試集中的資料對比, 發現仿真環境中的模拟點雲可以作為真實資料的補充[13].
從分析來看, 針對路側感覺的模拟仿真目前還很少人涉及, 但作為車路協同的應用開發卻同樣是不可或缺的, 本文将從路側感覺的模拟仿真入手, 介紹相關的系統搭建工作以及在此基礎上的兩個應用案例.
經典的自動駕駛仿真平台包括虛拟場景、動态案例仿真、傳感器仿真、車輛動力學仿真等獨立子產品[14],如圖1所示. 針對路側感覺的模拟仿真側重于路側傳感器與車輛以及環境之間的互動, 是以, 跟自動駕駛仿真平台的最大差別在于傳感器類型為路側傳感器而非車載傳感器, 但為了最大限度還原真實世界的相關特性, 仍然需要包括圖形引擎、實體引擎以及與外界通訊的中間件系統作為基礎支撐, 如圖2所示
文獻[15]從V2X、交通流、非自動駕駛車輛、傳感器、圖形渲染、自動駕駛車輛動态模型等幾方面總結了目前用于智能交通領域的主流模拟仿真軟體情況, 如表1所示. 其中, TF代表交通流, DM代表非自動駕駛車輛的駕駛模型, SE代表傳感器, VI代表渲染畫質, VD代表自動駕駛車輛動态模型. 另外, 表格内, i表示需要二次開發, o表示沒有相關功能, – –表示非常差,– 表示較差, +表示較好, ++表示非常好.
由圖2可知, 本文設計的路側感覺仿真系統需要突出包括傳感器仿真, 環境和交通渲染, 車輛動力學模拟等, 通過表1的資料分析可以得到滿足這些要求的有Carla、LGSVL、Righthook、SCANeR、VTD以及CarMaker, 其中Carla和LGSVL為開源軟體.
LGSVL是基于遊戲引擎Unity開發的一款主要用于自動駕駛開發和測試的模拟仿真軟體, 它支援包括仿真環境、傳感器以及通訊内容的自定義, 圖3為LGSVL的工作流程[16], 本文将基于LGSVL開發适用于路側感覺的仿真系統. 其中, 利用自定義場景功能開發适用于路側感覺的模拟環境, 利用自定義車輛及傳感器模型功能建立路側感覺單元, 利用自定義通訊内容實作路側感覺資料的采集與傳輸.
确定模拟場景是仿真測試的前提, 本文模拟的場景為所在團隊進行無人駕駛的車輛測試場, 圖4為其平面示意圖, 其中由正門通往東門的L型主幹道及其周邊為本次重點模拟區域. 路側感覺仿真系統的模拟場景建構内容包括靜态環境、動态交通、路側單元等,模拟場景的建構手段通常包括基于模組化軟體建構場景,基于已經完成的遊戲搭建場景, 基于增強現實方法建構場景, 基于高精地圖生成場景等方式, 本文采用基于模組化軟體建構虛拟場景, 模組化軟體為開源3D模組化軟體blender[17].
主要包括用于車輛行駛的車道, 場景内的建築, 區域内的綠植、路燈等, 這些構成了模拟場景的客觀環境, 并且不随仿真測試過程中其它條件的變化而改變, 通過blender模組化後經Unity高清渲染後得到本次模拟仿真系統的靜态環境如圖5所示.
動态交通是仿真測試場景的關鍵組成, 主要指仿真中具備動态特性的管控、車流、人流等部分, 包括紅綠燈仿真, 機動車仿真, 行人仿真等. 動态交通仿真場景建構方法主要有基于真實交通案例資料的建構,基于真實案例資料的泛化建構, 以及基于微觀交通仿真系統的建構. LGSVL通過微觀仿真方法建構動态交通, 内置地圖示注工具用來完成三維環境中高清地圖的建立, 基于高清地圖實作車輛按照車道行駛, 遵循交通信号燈, 限速, 交叉口決策等功能. 圖6為在行駛車道上進行地圖示注.
LGSVL内置豐富的車輛模型, 包括兩廂車, 三廂車, SUV, 吉普車, 卡車, 校車等, 通過組合不同的顔色外觀, 可以産生數十種車輛模型, 基本涵蓋了路面上常見的車輛種類. 同時, LGSVL支援更多類型車輛的自定義與建立. 圖7為在靜态環境中添加車輛模型後的效果.
路側單元是車路協同的核心部件, 負責車路資訊的采集、處理與傳輸, 也是本文提出的面向車路協同的路側感覺仿真系統的重點研究對象. LGSVL作為一款主要面向自動駕駛的仿真軟體, 本身并不具備路側單元這一組成類型, 但是LGSVL支援車輛及傳感器模型的高度自定義, 本文即利用LGSVL的該功能進行面向車路協同的路側感覺單元的建立.
常見路側單元包括攝像頭、雷射雷達、毫米波雷達、工控機等, 本文根據園區内實際情況, 将路側單元與太陽能路燈結合, 在blender中建構路側單元三維模型如圖8(a)所示, 在LGSVL中, 通過與建立車輛模型相同的方法得到路側單元對應的可加載資源, 最終在LGSVL中加載路側單元并配置相應的傳感器參數後如圖8(b)所示.
資料采集是路側傳感器的本質用途, 根據傳感器類型不同, 資料采集的内容及處理方式也不一樣, 如攝像頭采集的是圖像資訊, 而雷射雷達采集的則是三維點雲資料. 由于雷射雷達的成本較高, 且三維資料的後期處理較為複雜, 運用仿真手段實作雷射雷達的實體特性模拟以及對應資料收集和處理已然成為了真實路測的重要補充. 本文以路側雷射雷達為例介紹其仿真資料的生成及處理和輸出過程.
雷射雷達仿真的思路是參照真實雷射雷達的掃描方式, 模拟每一條真實雷達射線的發射, 通過與場景中所有物體求交, 若在雷射雷達的最大探測距離記憶體在交點, 則傳回相應的點雲坐标. 假設模拟雷射雷達為L線, 水準分辨率為R, 水準掃描範圍為360°, 得到每一幀發射射線的數量N為:
由式(1)和圖9可知, 當雷射雷達頻率較高, 場景内環境較為複雜且模型足夠精細時, 通過模拟射線求交的計算量極大, 以雷射雷達為64線, 水準分辨率0.4°,頻率10 Hz為例, 單純每秒發射的雷射雷達射線就高達576000條, 在此基礎上還需要對每一條射線周遊場景内除雷射雷達外的所有物體模型. 為了達到實時仿真的效果, 可以運用CPU并行或GPU計算的方式來提高計算效率, LGSVL采用GPU計算點雲資料.
真實點雲資料除了位置坐标外, 還有一個關鍵資訊是反射強度, 反射強度主要反映的是不同實體材質對雷射雷達所使用的近紅外光線的反射率. 是以, 模拟點雲資料同樣需要考慮強度值, LGSVL中通過擷取模型材質中的金屬度及顔色值并進行歸一化處理得到取值範圍在0~255間的強度值.
有了模拟點雲資料後, 一般還需要配合真值資料,用作模型識别訓練的資料集. 真值資料對應真實資料中的人工标簽資料, 資料内容包括可識别物體的位置、朝向、包圍盒大小、速度、類型等, 不同于人工打标簽的過程, 真值資料相對于仿真系統而言是已知的, 隻需要将真值資料與點雲資料進行配合同步輸出即可,是以可以大大提高輸出标簽的效率. 在LGSVL中建立真值資料傳感器, 資料類型為Detected3DObject, 如圖9所示, 其中, Id為同一幀資料内識别物體的序列, Label為物體标簽, Position為物體位置, Rotation為物體朝向, Scale為物體包圍盒尺寸, LinearVelocity和AngularVelocity分别為物體線速度和角速度. 為實作真值資料與點雲資料比對, 需要将真值資料傳感器與雷射雷達傳感器的配置參數保持一緻, 如位置姿态、有效範圍、頻率等.
Unity中, 姿态角采用四元素表示, 如圖10中的Rotation值, 同時坐标系的表示為左手系, 而一般用于模型訓練的标簽資料采用右手坐标系下的歐拉角表示.歐拉角有12種表示, 分别代表着12種旋轉次序[18], 本文采用ZYX的旋轉次序. 假設Unity中四元素姿态角表示為quaternion=(x, y, z, w), 對應ZYX歐拉角為euler=(roll, pitch, yaw), 則兩者之間存在關系:
LGSVL支援包括ROS, ROS2, CyberRT等多種通信方式, 本文采用基于Rosbridge的通訊實作模拟點雲資料與真值資料的輸出. Rosbridge為非ROS程式提供了一個使用ROS功能的JSON API, 用于向ROS發送基于JSON的指令的規範[19]. Rosbridge包含一個WebSocket伺服器, 用于與Web浏覽器進行互動, 仿真系統與ROS之間的通信如圖11所示.
由于模拟點雲資料與真值資料分别通過不同的傳感器采集, 為了實作每一幀檔案的互相比對, 本文采用擷取目前ROS時間作為每一幀點雲資料和真值資料的命名, 如目前ROS時間為n.ms, 對應時刻采集的點雲資料檔案儲存為nm.pcd, 真值資料檔案為nm.txt. 将同一幀的模拟點雲資料與真值資料導入Rviz中顯示如圖12所示.
在現實中, 由于雷射雷達成本較高, 在路側布局中需要優化雷射雷達的布局使得單個雷射雷達的有效覆寫區域盡可能多地被利用. 對于隻有單側布置RSU的路面, 因為各類車輛的形體差異較大, 有可能存在小車被大車遮擋的情況, 進而對車路協同提供的超視距功能構成挑戰, 為了減少這種因大車遮蔽造成雷射雷達盲區的情況, 最簡單有效的方法是增加雷射雷達的安裝高度. 擷取雷射雷達的最低安裝高度需要綜合包括雷射雷達參數, 道路環境參數, 車輛參數等多種條件進行測試, 通過真實路測是不大現實的, 而借助本文提出的路側感覺仿真系統可以簡單直覺地完成. 實驗中, 選取線數為16線, 垂直角度為30°, 有效距離為120 m的雷射雷達, 大車的長度為10.5 m, 高度4.4 m, 小車長度4.6 m, 高度1.4 m, 通過改變雷射雷達高度和傾角值, 獲得6組雷射雷達在仿真環境中的點雲覆寫情況如圖13所示, 從圖中可知, 随着雷射雷達高度增高, 小車被點雲覆寫的可能性越大, 同時為了使得點雲覆寫車道的大部分, 傾斜角度也需要增大, 當雷射雷達高度為10米, 傾斜角度為55°時, 小車可以有較好的點雲覆寫.
相對于基于攝像頭采集的二維圖像識别物體, 基于雷射雷達的點雲資料的物體識别因為不受環境光的影響, 具有更高的魯棒性, 是以在車路協同中具有重要的地位. 相應地, 由于單幀的點雲資料量巨大, 同樣采用深度學習的方法, 基于點雲的識别難度較于圖像識别有過之而無不及, 尤其制作标簽資料的過程, 采用人工的方式是極其困難的. 通過仿真系統可以快速準确地生成大量标簽資料, 但模拟資料是否可以替代真實資料仍需要通過實驗進行驗證.
本文設計了4組實驗進行驗證, 第1組采用真實資料訓練真實資料測試, 第2組采用模拟資料訓練模拟資料測試, 第3組采用真實資料訓練模拟資料測試,第4組采用模拟資料訓練真實資料測試, 4組實驗采用相同的訓練網絡, 訓練集與測試集的資料量均按4:1得到, 最後結果如表2所示.
其中, Precision為識别的精确率, 相對于測試集中檢測出來的樣本而言, Recall為召回率, 相對于整個測試集而言, F1 score為精确率和召回率的調和平均數.從表2中可以看出, 不管是用真實資料測試模拟資料,還是模拟資料測試真實資料, 最後的結果都顯示各類評價名額可以比較接近純真實資料的情況, 由此可知,通過仿真系統輸出的模拟點雲資料可以較好地還原真實資料的特征.
随着智能交通領域的快速發展, 模拟仿真技術在其中扮演着越來越重要的角色, 尤其是針對自動駕駛和車路協同已經有很多的仿真應用和研究, 然而面向路側感覺的仿真仍然鮮有人涉足. 本文提出了一種面向車路協同的路側感覺仿真系統, 系統基于自動駕駛仿真軟體LGSVL進行二次開發建構, 開發内容包括模拟仿真環境, 路側單元及資料采集與通訊, 最後通過兩個實驗對仿真系統的應用進行說明. 實驗一借助仿真環境分析了雷射雷達的高度與路面點雲覆寫之間的關系, 可以為雷射雷達的實際安裝位置提供參考, 實驗二通過對比由仿真環境中輸出的點雲資料得到的車輛識别模型與由真實資料得到的模型之間的互相驗證結果,得出本文設計的仿真系統的對雷射雷達和環境的模拟可以較高程度地還原真實情況.
另外, 在本次的研究中, 由于将雷射雷達傳感器與真值資料傳感器作為單獨的個體進行考慮, 存在無法在時間上做到完全同步的問題, 會導緻真值資料和點雲資料在空間上存在細微的差距, 其次, 本文實驗中仿真環境和真實環境仍存在一定的差異, 如綠植、車棚等, 導緻實驗二中交叉驗證出現各項名額略低于自身驗證的情況, 這些将在後續的研究中進行重點考慮. 同時, 探索路側感覺仿真系統在車路協同中更多的應用場景也是未來研究的方向.