天天看點

畏首畏尾的自動駕駛安全風險:自動駕駛規劃中語義DoS漏洞系統化分析

機器之心專欄

機器之心編輯部

這項将在 4 月底正式發表于 NDSS 2022(計算機安全四大頂會之一)的研究,揭示了自動駕駛場景下多個以前未知的語義 DoS 漏洞。

畏首畏尾的自動駕駛安全風險:自動駕駛規劃中語義DoS漏洞系統化分析

論文連結:https://www.ndss-symposium.org/wp-content/uploads/2022-177-paper.pdf

項目網站和示範視訊:https://sites.google.com/view/cav-sec/planfuzz

如今,高等級自動駕駛(AD)車輛,即在大多數情況下可以在沒有人類駕駛員的情況下自動駕駛的車輛,已經公開上路。一些公司,如 Waymo、百度、GM Cruise,也已經在提供沒有安全駕駛員公共服務。在大規模部署之前,了解此類系統中可能存在的安全風險非常重要。典型的自動駕駛系統具有傳感、規劃和控制步驟。傳感步驟使用不同的傳感器(例如,相機、雷射雷達、GPS)來了解周圍環境。規劃步驟根據周圍環境生成駕駛軌迹。規劃将為自動駕駛車輛做出關鍵任務決策,例如避免碰撞、變道。控制步驟将為車輛生成控制指令,使其可以完成計劃的軌迹。先前的工作研究了在各種實體世界攻擊下感覺的安全風險,例如傳感器欺騙或設計具有惡意外觀、紋理或形狀的對象。

在這項工作中,我們完成了第一個特定于規劃的安全分析。我們想研究攻擊者是否可以通過簡單地以正常方式改變周圍環境(例如在另一條車道上駕駛另一輛車,或将常見物體放置在車道外)來将規劃決策變為意想不到的決策。

研究工作概覽和亮點

畏首畏尾的自動駕駛安全風險:自動駕駛規劃中語義DoS漏洞系統化分析

Fig. 1:自動駕駛規劃語義 DoS 漏洞的問題定義

由于我們的目标是了解可能導緻意外決策的安全風險,是以需要一個新的漏洞和攻擊模型的定義。我們假設攻擊者可以使用自動駕駛車輛周圍的可控物體來改變規劃的輸入。這些物體可以是被丢棄的紙闆箱、停放的自行車或移動的車輛,而對形狀、質地或外觀沒有任何要求。這使我們的攻擊變得切實可行。此外,我們要求物體遵循正常駕駛規範,例如物體不得放置在車道内,是以攻擊是隐蔽的。

我們還定義了自動駕駛規劃中的語義漏洞,這與一般漏洞的症狀不同。自動駕駛規劃中的語義漏洞是那些可以被利用并是以導緻意外駕駛決策的漏洞。意外的決定可能是過于激進的決定(例如撞到障礙物)或過于保守的決定(例如緊急停止或不必要的永久停止)。我們将重點放在後面的一個,因為我們認為這在當今的系統中更為普遍。我們也将它們稱為語義 DoS 漏洞。

新動态測試工具 PlanFuzz

畏首畏尾的自動駕駛安全風險:自動駕駛規劃中語義DoS漏洞系統化分析

Fig. 2:Planfuzz 系統設計總覽

我們設計了一種名為 PlanFuzz 的新型動态測試工具 (Fig. 2),用于自動化語義 DoS 漏洞的發現過程。

由于漏洞定義是特定于域的,是以我們将規劃不變量 (PI) 定義為測試标準。對此的定義是,在特定的規劃場景下,無論攻擊者可控物體如何變化,規劃決策都應該始終相同。我們已經用時序邏輯形式化表達了規劃不變量。在論文中,我們定義了 8 種不同駕駛場景下的通用限制,包括對靜态物體和移動行人 / 車輛的限制。此外還有一個三步輸入生成政策,以強制生成的輸入能滿足給定的條件,同時在為測試生成輸入的過程中仍保持多樣性和繼承性。

為了提高測試效率,我們還設計了一個新的距離度量,稱為 BP 漏洞距離,用于指導決策向意外的變化。我們的關鍵思想是利用那些與決策相關的條件中兩個操作數之間的距離來導緻決策變化。我們執行靜态分析以提取控制 / 資料依賴關系。并且我們在線上測試之前基于依賴關系修改了程式的 binary 加入了用于計算這個距離的指令。是以,程式可以在線上測試階段直接生成此距離度量。

我們的工具可以在百度 Apollo 和 Autoware.AI 的 3 種不同實作中成功發現 9 個以前未知的語義 DoS 漏洞。這些漏洞是在不同的駕駛場景下發現的,包括車道跟随、車道變換、車道借用和不同的交叉路口行車。觸發語義 DoS 漏洞的方式也多種多樣,包括将靜态物體或停放的自行車放置在道路旁,以及在受害車輛周圍駕駛車輛。

漏洞利用案例分析

畏首畏尾的自動駕駛安全風險:自動駕駛規劃中語義DoS漏洞系統化分析

Fig. 3:Autoware.AI 車道行駛的語義 DoS 漏洞以及可能帶來的追尾。攻擊視訊連結: https://www.youtube.com/watch?v=P5IdQ_R5WWY.完整視訊資訊連結:: https://sites.google.com/view/cav-sec/planfuzz#h.wxdo4hk0wfac.

在 Fig. 3 中,攻擊者可以通過放置兩個偏離車道的靜态物體來利用 Autoware.AI 中發現的一個漏洞,并在高速公路出口匝道上車道完全是空的情況下觸發一個急劇且永久的停車。我們的案例分析表明,一種可能的安全後果是追尾碰撞。

畏首畏尾的自動駕駛安全風險:自動駕駛規劃中語義DoS漏洞系統化分析

Fig. 4:Autoware.AI 車道行駛的語義 DoS 漏洞的真車軌迹案例分析。攻擊和正常場景對比視訊連結: https://www.youtube.com/watch?v=eb7bEXrUPE4&t=1s. 完整視訊集合: https://sites.google.com/view/cav-sec/planfuzz#h.4h1r5aah9kyo.

我們還通過從真實 AD 車輛收集的駕駛軌迹證明了此漏洞 (Fig. 4)。

畏首畏尾的自動駕駛安全風險:自動駕駛規劃中語義DoS漏洞系統化分析

Fig. 5:Apollo 停止标志和變道場景下的語義 DoS 漏洞迹案例分析。停止标志場景攻擊視訊: https://www.youtube.com/watch?v=dCWJTyiE_-s. 變道場景攻擊視訊: https://www.youtube.com/watch?v=DRvot2-9pOg. 完整視訊集合: https://sites.google.com/view/cav-sec/planfuzz#h.n3txvyhytxt1.

此外,我們還展示了攻擊者可以在停止标志的場景下使用停在十字路口周圍的自行車來觸發停車線前的永久停車。此外,在變道場景中,如果攻擊者在特定條件下跟随受害車輛,它則放棄變道決定 (Fig. 5)。

漏洞原因和披露

我們還對發現的語義 DoS 漏洞的根本原因進行了調查。在發現的 9 個漏洞中,一個是由程式實作的錯誤引起的,另一個是由過于保守的規劃參數(例如安全緩沖區、角度門檻值)和對于周圍行人和車輛運動趨勢過于保守的估計引起的。

此外,我們已經通知了 24 家正在開發自動駕駛車輛的公司。他們中的一些回複了我們,他們目前正在針對此安全風險進行調查。

團隊介紹

本次研究作者團隊,來自加州大學爾灣分校、加州大學洛杉矶分校,一共 7 名研究人員。其中第一作者 Ziwen Wan 和第二作者 Junjie Shen 都是加州大學爾灣分校在讀博士生。Jalen Chuang 以大學生身份參與本項目。Alfred Chen 和 Joshua Garcia 是加州大學爾灣分校計算機系和資訊學系的助理教授。Xin Xia 和 Jiaqi Ma 分别是加州大學洛杉矶分校土木工程系的博士後和教授。

繼續閱讀