近日，中國科學院上海微系統與資訊技術研究所的研究人員在智能駕駛感覺領域取得進展，針對智能駕駛感覺的兩個關鍵問題——栅格占據預測和全景分割取得突破。該成果被機器人領域國際學術會議2024 IEEE ICRA錄用。
01
感覺能力 自動駕駛的基礎
作為定義汽車智能網聯程序的核心次元，自動駕駛技術已然成為衡量智能與否的關鍵名額。汽車的自動駕駛核心系統包括感覺系統、決策系統與執行系統。感覺系統好像人類駕駛員的眼睛與耳朵，通過各種傳感器對路況資訊進行捕獲，是自動駕駛的重要基礎與先決條件。
目前，自動駕駛感覺技術大緻存在兩種模式：一種是以攝像頭為主要傳感器，搭配毫米波雷達等低成本傳感器，以圖像識别模式為核心流程的模式；另一種模式則是以高成本的雷射雷達為核心元件，利用雷射雷達擷取更遠探測距離、更優角度分辨率，且受環境光影響更小。前者雖然成本較低，但對算法和晶片的依賴程度較高，目前的算法和模型讓其相較于後者，在可靠性和精确性上處于劣勢。
對此，科研人員針對低成本模式的攝像頭為主傳感器背景算法，進行了更新創新，在算法涉及的栅格占據預測和全景分割這兩個關鍵問題上取得突破，提高環境感覺力，優化駕駛場景精度，提升安全保障。
▲圖檔來自網絡
02
克服障礙物視角遮擋
栅格占據率預測算法，通常被用來了解和分析車輛周圍環境資訊。它會将車體周邊環境分割成許多小的方格，即栅格，并解讀每個栅格中的資訊供自動駕駛背景參考。但是由于對某些場景的還原不夠細緻，對于各類車輛和障礙物幾何資訊的了解也不夠透徹，當開放場景中對象的形狀或外觀不明确時，往往會出現錯誤估計障礙物的情況。是以，科研人員提出一種以自車為中心的環視視角的占據預測表征方法——CVFormer。
CVFormer采用“環視視圖交叉注意力子產品”技術，利用汽車周圍的環視多視圖來建立多個二維視角的表征，進而有效地描述周圍的三維場景。它采用的“時序多重注意力子產品”可以加強幀間關系的利用，提高預測的精度和效率。而且，科研人員還在CVFormer中引入二維與三維類别一緻性限制，讓預測結果更加符合實際場景。
通過以上技術，CVFormer能夠克服車輛周圍障礙物可能引起的視角遮擋問題，為自動駕駛車輛提供了更加精準和可靠的環境感覺能力。
▲CVFormer在自動駕駛常用資料集nuScenes上三維占據率預測任務可視化效果圖
03
提升全景分割精度
由于以攝像頭為主要傳感器的自動駕駛方案不涉及3D雷射點雲資料處理，是以全景分割便成為一項至關重要的核心技術，主要用于行車路線和街道的識别與了解。
全景分割是融合語義分割與執行個體分割的綜合方法。語義分割關注将圖像中的區域分割為不同的類别；執行個體分割則側重對每個執行個體對象進行獨立的分割。全景分割将兩者融合，但在實際操作中，二者預測結果會出現沖突，導緻背景誤判。
為解決這一問題，科研人員設計了基于門控編碼和邊緣限制的端到端全景分割模型BEE-Net。模型通過語義—執行個體—全景三重邊緣優化算法，對邊緣分割品質進行針對性優化，保持高效的同時，顯著提升了場景分割性能。
BEE-Net在駕駛場景分割權威資料集CityScapes上進行了驗證，獲得了65.0%的PQ精度名額。在精度方面，它超越了目前基于CNN的全景分割模型的最高精度63.3%。同時，在效率上，它優于所有基于Transformer的全景分割模型，兼顧了分割精度與效率的性能需求，在某下一代量産車型智能駕駛感覺系統上完成了測試驗證。
▲BEE-Net在CityScapes資料集上的分割結果
總的來說，BEE-Net不僅有助于緩解語義-執行個體預測混淆問題，還能提升分割品質，特别是在邊緣處。這不僅提高了全景分割的準确性，也進一步增強了自動駕駛算法對環境的感覺能力，使其更加精準可靠。
來源：中國科學院上海微系統與資訊技術研究所
責任編輯：曹旸