作者丨黃浴@知乎
編輯丨3D視覺工坊
arXiv在2021年10月16日上傳論文“Finding Critical Scenarios for Automated Driving Systems: A Systematic Literature Review“，作者來自瑞典和奧地利的幾個研究機構和高校。
基于場景的方法在自動駕駛系統研究和工程中受到了極大的關注。由于駕駛環境的複雜性和不确定性，以及駕駛任務本身的複雜性，自動駕駛系統（ADS）或進階駕駛輔助系統（ADAS）可能遇到的駕駛場景數量幾乎是無限的。是以，必須做場景識别，特别是那些不考慮則有無法接受風險的關鍵場景。
關鍵場景對于設計、确認和驗證（V&V，verification and validation）工作以及安全基礎等尤為重要。本文對此做了一個文獻綜述，主要包括：(i) 一個關鍵場景識别方法的分類；(ii) 基于分類法的最新研究，2017 年至 2020 年的 86 篇論文；(iii) 确定未解決的問題和進一步研究的方向。該分類法的三個主要觀點，是問題定義（原因）、解決方案（派生場景的方法）以及已建立場景的評估。此外，讨論一些開放研究問題，即覆寫範圍、實用性和場景空間探索等。
這裡安全作為特定的操作設計域 (ODD) 、功能安全 (FuSa) 和預期功能安全 (SOTIF) 的組合。
如圖所示是潛在危害之源：
功能不足會導緻該功能在某種觸發條件（例如眩光）下出現意外行為（例如對前方車輛的錯誤檢測）。如果下遊功能（例如目标跟蹤和傳感器融合）的容錯不能解決這種意外行為，則可能會傳播到車輛級危險（例如未能檢測到行人造成未及時啟動制動 ）。
對場景和景象做定義：
“場景（scenario）描述了一系列場景中幾個景象之間的時間發展。每個場景都從一個初始景象開始。可以指定行動和事件以及目标和價值來表征場景的這種時間發展。不是一個景象，一個場景跨越一定的時間。” 如上圖所示，可以通過一組影響因素來描述場景。
“景象（scene）描述了環境的快照，包括景色（scenery）和可移動目标，以及所有行動者和觀察者的自我表現，以及這些實體之間的關系。隻有模拟世界中的景象表示才能包羅萬象（客觀景象、真值）。現實世界中這是不完整不正确不确定的，是從一個或多個觀察者的角度來看（主觀景象）。”
所有符合相同描述的相關場景，組成一個場景空間。一個重要場景空間，是操作設計域（ODD），其中要求自車應該安全行駛。
ODD定義：
“給定駕駛自動化系統或其功能，專門用于運作的操作條件，包括但不限于環境、地理和時間限制，和/或某些必要的存在或不存在的交通或道路特征”。
ODD 本質上定義了操作環境，而ADS 就是針對該環境設計的。
德國Pegasus項目定義一個6-層場景描述模型，如下表所示：
場景表示包含三層抽象，即功能場景、邏輯場景和具體場景。功能場景和邏輯場景在兩個不同的抽象層次上描述場景空間，而具體場景描述特定場景。
根據一個具體場景，采用OpenX（OpenDRIVE, OpenSCENARIO），可以建構一個可執行的場景。可以是仿真模型，也可以是真實的測試。可執行場景是指來自相機的圖像或來自 LiDAR 的點雲。
如圖描繪了三個抽象層次之間的轉換：支援功能場景形式化的是邏輯 ODD，即一個參數化的ODD描述；來自 ODD 定義的輸入，功能場景被形式化和參數化為有所有參數定義及值範圍的邏輯場景；即使形式化的邏輯場景比功能場景包含更多的資訊，其代表的場景空間更小一些，因為并非所有影響因素都可能被識别和考慮。
很多情況下，極端場景（corner case ）和邊緣場景（edge case）是相關的術語，通常用作同義詞。發生的機率是二者之間最顯着的差異。corner case是正常操作參數和罕見/異常情況的組合。并非所有edge case都是corner case，反之亦然。隻有罕見和新的條件下特殊組合的corner case才被視為edge case。
關鍵場景（Critical scenario）定義為系統設計、安全分析、驗證或确認的相關場景，具有潛在的危害風險。
觸發條件和安全-緊要操作情況是 ODD 中關鍵場景的兩個主要組成部分。是以，未知的關鍵場景可能源于這兩個部分，如圖所示：
标準ISO/PAS 21448的一個主要目标是識别未知的關鍵場景，然後使其安全。此外，标準ISO/PAS 21448的附錄 B2 進一步假設場景條件/情況可以模組化為幾個有影響情景因素的組合（例如，大雨、眩光、路面濕滑、另一輛車突然切入、等等）。在這個假設下，未知的關鍵情景可以歸因于未知的場景因素或已知場景因素的未知組合。
為此，關鍵場景識别 (CSI，Critical Scenario Identification) 方法被定義為查找觸發條件、安全-緊要操作情況或将導緻傷害的兩者組合方法。ODD 定義被認為是 CSI 方法的輸入來劃定場景空間。
一個保證預功能安全的疊代過程如圖所示：識别出的關鍵場景将支援自動駕駛功能的細化，使ADS 更安全。
它們還可能有助于ODD 定義的完整，尤其當确定的關鍵場景指向 ODD 定義中未考慮的方面。同時，功能細化也可能導緻 ODD 變化，在下一次疊代中啟動新的 CSI 過程。
如圖是關鍵場景識别（CSI）方法分級的類别結構：
采用以下三個基本類來建構CSI 方法：下面的子類見上圖（左、中、右）
- 問題定義：識别什麼樣的場景？為什麼這些場景很重要？
- 解決方案：應用哪些技術來識别關鍵場景？需要什麼外部資訊/資料？
- 評估：如何評估方法和關鍵場景的有效性？
開發中V-模型每個階段的關鍵場景如圖所示：圖中的灰色框列出了識别出的關鍵場景在相應開發階段可以支援的内容。
需求分析：
在 ISO 26262 中，危害分析和風險評估 (HARA，Hazard Analysis and Risk Assessment ) 是識别所有潛在危害事件的重要步驟。如圖所示，每個危險事件都是危險和操作條件的組合。确定的撞前功能場景可以用作HARA 的所有操作條件集。
系統設計：
決定系統配置和分解車輛級别需求到元件級别。
元件設計：
由于不同的自動駕駛功能可能對不同的環境因素敏感，是以通常在元件層而非車輛層分析影響因素。
元件和系統驗證：
生成的測試用例用于驗證整個自動駕駛系統或特定的功能。
系統确認：
一種常見的驗證（validation）方法是通過蒙特卡羅模拟來估計事故率或故障率。由于關鍵場景相對較少，小樣本量的蒙特卡羅模拟可能會導緻關鍵場景的覆寫率較差，增加估計誤差。作為蒙特卡羅模拟的一種變型，重要采樣（IS）為關鍵但相對罕見的場景配置設定更多樣本來減少估計誤差。是以，重要抽樣（IS）方法意味着識别的關鍵場景或關鍵區域作為輸入。
根據問題定義和解決方案，CSI方法分成5個類群（clusters）：
- C1 探索沒有參數軌迹的邏輯場景；
- C2 探索有參數軌迹的邏輯場景；
- C3 歸納推理；
- C4 演繹推理；
- C5 基于計算機視覺（CV）的函數找到關鍵景象。
下面先說C1群。
假設參數對于所有執行個體（即具體場景）具有固定值，例如場景中的車輛數量和車道數量；感興趣的參數建構要探索的場景空間，這些參數包括随時間恒定的參數（例如天氣狀況或道路上靜止障礙物的位置）和随時間變化的參數（例如周圍車輛的速度或感覺誤差）。如果參數随時間變化，則可以将其表示為參數軌迹。參數值可以是分類的（例如天氣、顔色和車輛模型）或數字的。數值可以是連續的（例如速度、航向和傳感器噪聲）或離散的（例如其他車輛的數量、車道數量和速度限制）。
在C1類，具體關鍵具體場景的确認看成是設計空間探索（DSE）或基于搜尋的測試（SBT）問題，其流程圖如圖所示：
給定一個邏輯場景，用參數空間探索方法生成一組具體場景。在這些生成的具體場景中，用預定義的關鍵性評估方法識别關鍵場景。 關鍵性評估可以看作是将場景空間一個點映射到評分空間中一個點的函數。評分空間是對具體場景的關鍵性定量評估。評估是通過替代測量來實作的，因為關鍵性很難直接測量。
如圖列出C1類中關鍵場景識别（CSI）中所有場景空間探索方法：可以分為兩種類型，即（1）天真型搜尋（即采樣群組合測試）和（2）指導型搜尋（即基于優化和學習的測試）。
場景探索的一種天真方法是在場景空間中随機或系統地搜尋。換句話說，樣本是互相獨立的。是以，這些方法可以并行實施以減少探索時間。然而，如果關鍵場景很少見，這些方法可能效率低下，因為采樣到關鍵場景的機率很低。另一方面，指導搜尋方法具有更高效的潛力，因為每次疊代的搜尋方向根據前一次疊代的搜尋結果進行調整，将探索收斂到關鍵區域。
采樣方法在邏輯場景空間随機配置設定每個參數值來執行個體化具體場景。根據參數的機率分布統計抽取預定數的樣本，其抽樣大小由模拟所需的覆寫範圍和計算時間決定。
使用的采樣方法總結如圖所示：根據邏輯場景的參數描述，根據是否考慮參數分布，對采樣方法進行分類；如果沒有提到參數分布，假設采用均勻分布。
組合測試（CT）是一種常用的軟體測試方法，專注于識别僅由特定輸入組合觸發的故障。CT 的核心是生成滿足 N-wise 覆寫（注：給定一個感興趣系統模型，包含參數清單、取值和限制來定義參數互動，那麼N-wise 覆寫表明所有參數值的 N 元組必須至少測試一次）的最小測試用例集（即覆寫數組）。在 自動駕駛的CSI 的背景下，CT 可用于發現可能使自動駕駛或特定 自動駕駛功能失效的影響因素未知組合。
CSI 方法也可表述為優化問題，通常包含四個部分，即設計變量、限制、目标函數和優化器（即求解器）。
基于學習的測試方法旨在将模型檢查算法與有效的模型推理算法相結合，并将兩者與感興趣系統內建在一個疊代循環中，自動生成大量高品質的測試用例。它會訓練代理模型在優化過程中學習系統的屬性。可以通過最大化場景空間或評分空間中樣本之間距離來優化多樣性。
從上述 CSI 方法獲得具體場景後，基于測試的方法可以驗證派生場景的關鍵性，如圖所示：
在關鍵性評估階段，大多數研究利用 X-in-loop仿真來估計具體場景的關鍵性，其中 X 将系統 的模型、軟體或硬體表示為黑盒。也可以不在X-in-loop模拟的情況下評估關鍵性。驗證可以通過現實世界的測試來實作，以分析探索方法的性能。
對于安全論證，在探索邏輯場景時必須考慮覆寫範圍。然而，并非所有主要研究都明确讨論了覆寫範圍。對覆寫範圍的考慮，以及增加該類方法群已識别關鍵場景多樣性的機制，總結如圖所示：
C1群沒有考慮運動軌迹，會有不少限制。在C2群，這個參數軌迹會作為場景參數來探索。
如圖是C2群中各種邏輯場景執行個體方法一覽：
場景模型包括一組參數。其中一些具有預定義值（假設的參數），而其他（感興趣的參數）應優化以找到關鍵具體場景，如圖所示。假設參數的例子比如，其他參與者的數量（運動交通參與者）、車道數和人行橫道的位置等。
探索的方法基本分成優化、路徑規劃和強化學習等。
關鍵性評估定義系統是否能滿足其要求。該評估可以根據确定故障的替代措施以及分析故障的避免性進行分類。比如：基于碰撞、基于規定、考慮避障和不考慮避障等。
在C3群（歸納推理）中主要資料來源歸納為兩種類型：
- 1) 僅基于事故場景，
- 2）基于各種類型的資料和場景。
前者依賴于事故資料庫，包括原始事故資料、事故報告或記錄，後者是指現有的邏輯或具體場景、自然駕駛資料、交通資料或傳感器資料。C3群的 CSI 方法總結如圖所示：
C4群（演繹推理）基于各種知識源尋找功能或者邏輯場景。
這裡列出的是方法，通過系統考慮一組預定義假設下的所有可能性來尋找碰撞前場景。确定的預碰撞場景可用作安全-緊要的操作情況。
最後，C5群（基于計算機視覺功能）的方法總結如圖所示：
C5分成景象表征和關鍵景象生成或者探索兩個主要思路。在C5群的評估圖像關鍵性方法，大多數将被評估的圖像提供給系統（即被驗證的函數）作為評估性能的輸入。是以，評估的關鍵性針對實作而言。
評估方法的分類：
- C1: 幾乎所有研究都将案例研究作為評估方法來驗證方法和關鍵場景。大多數案例研究都是通過模拟實作的。
- C2: 類似C1
- C3：最常用的評估方法是将識别場景與法規場景進行比較。通過來自真實資料的聚類生成功能或邏輯預碰撞場景，直接與法規或測試組織的測試場景進行比較，例如 Euro NCAP。
- C4：不是都做評估。
- C5：幾乎都使用案例研究作為評估方法。與 C1 和 C2 類似，也沒有進行驗證确定模拟識别的關鍵場景對于計算機視覺系統在現實世界是否也很關鍵。覆寫率主要取決于使用的資料集，但對覆寫結果沒有驗證。
相關研究方向有：
- 線上風險評估
- 基于場景的功能評估
- 基于場景的系統設計
- 故障注入
- ontology設計和影響因子分析
- 形式方法
- 計算機視覺中未知的未知物檢測
- 資料增強
幾個讨論點：
覆寫範圍：覆寫範圍可以通過 3 種方式定義（類型）：1) 針對給定場景空間探索的覆寫範圍；2) 給定場景空間内所有關鍵場景的覆寫率（即在給定場景空間内所有關鍵場景中識别關鍵場景的比例）；3) 在給定的功能場景或 ODD 下，所有關鍵功能不足及其觸發條件的覆寫範圍。
ALARP (”As Low As Reasonably Practicable”)原理：確定傷害風險最小。
場景空間探索：場景空間分成兩個角度，一是分解ODD成各種應用用例，二是分成不同的感興趣系統。要進行完整的安全分析，需要明确分析系統的容錯（即識别上遊功能意外行為所無法解決的場景），特别是分析目标跟蹤和傳感器融合的容錯。此外，還需要一個系統的觀點來確定劃分到感興趣系統中以及随後的“證據”組成是完整的，例如關于共同原因故障。