作者：Dr. Luo，東南大學工學博士，英國布裡斯托大學博士後，是複睿微電子英國研發中心GRUK首席AI科學家，常駐英國劍橋。Dr. Luo長期從事科學研究和機器視覺先進産品開發，曾在某500強ICT企業擔任機器視覺首席科學家。
《荀子 · 修身》曰“道雖迩，不行不至。事雖小，不為不成。”
ADS三十年之現狀，可謂：“道阻且長，行則将至；行而不辍，未來可期”。《象傳》故曰，“求而往，明也”。
ADS純視覺感覺産品設計的痛點觀察
自動駕駛ADS是新世紀産業革命即行業數字化AI化的第二個發力市場，近幾年來具備L2/L2+功能的車型紛紛成功上市并占領市場，特定場景的L3/L4級功能的車型也開始落地。L3是有關安全責任歸屬的臨界點，L3以上才可以被稱為是自動駕駛，駕駛主體将變成車輛的自動駕駛系統，人類駕駛員隻在必要時接管。随着AI技術與駕駛場景的深度融合，智能車AVs将按照大衆的預期逐漸實作從低速到高速、從載物到載人、從商用到民用的落地節奏。領航輔助駕駛（Navigation On Autopilot）做為L2+級功能也受到大衆廣泛的歡迎，在自動巡航控制ACC、車道居中控制LCC、勻速保持控制ALC等初級功能基礎上，允許汽車根據導航資訊，自主完成上下匝道、高速巡航、換道超車等智能化操作。半封閉、道路結構化的高速場景複雜度較低，易于智能駕駛功能量産落地，商業化落地主要為車道保持輔助LKA、ACC、車道居中輔助LCA、高速NOA等功能。城市路況複雜度高，行人、非機動車、機動車等道路因素較多，開發NOA功能挑戰性顯然更大。上述所說的針對L2的場景應用，可以解放人的雙手和雙腳，但駕駛員做為責任主體，必須負責監督路況并在需要時能夠迅速接管駕駛任務，責任主體的分心或者打盹可以說仍是目前一個非常緻命性的因素之一，需要車輛銷售人員的正确宣傳與算法的技術有效檢測這類事件，并配合使用者進行改善。大量的分析已經表明，目前在很大的程度上AVs的安全性能估計比人類駕駛(也可以說人類自身的最好能力或者是人類心理可接受的期望值)明顯要差一個數量級以上，雖然可以适應仿真和簡單低遮擋的限制真實場景，但仍難以應對城市的複雜道路交通場景，包括惡劣天氣環境，定位信号缺失，目标高度遮擋，有限全局視野，人車互動，車車互動，以及小尺寸目标或幹擾目标等。場景動态适應能力問題，即所謂“Long-Tail Challenge”長尾挑戰，依舊是ADS目前待解決的主要難題之一。
為了提升ADS的時空4D感覺能力和人身安全等特性，市場上AVs類似配置29個攝像頭，6個Radar和5個LiDAR多模多傳感器的設計已經非常常見。對比昂貴的LiDAR裝置，攝像頭一個最大的優勢是高分辨率和低成本，純視覺的多攝像頭組合設計可以提供充分的場景語義資訊。針對目前市場上所采用的純視覺感覺的産品設計，除了上述極端場景外，本文在這裡将重點交流一下我們的總體深度洞察，尤其是包括應用的主力場景，即非惡劣天氣下被大衆認為不容易被幹擾或者是認為目标不容被易漏檢誤檢的行駛場景等等。
圖1：交通事故現場 (online media, 2022)
對于ADS Auto-Pilot純視覺感覺産品應用，現有市場上頻頻爆發出來的嚴重或者緻命的交通事故，反而多發生在這類比較正常的天氣和一些認為很容易處理的交通場景下。如圖1所示(備注：圖檔都來自官方報告或者官網新聞)，事故原因大體包括:
- (2022年7月) 台灣某市，天氣良好，Auto-Pilot模式，與高速公路的路邊橋墩相撞，導緻車輛起火，人員重傷
- (2022年7月) 美國佛州，天氣良好，Auto-Pilot模式，與洲際公路的路肩停車位的卡車相撞，導緻車輛起火，2人死亡
- (2022年x月) 美國多州，夜晚行駛，Auto-Pilot模式，與抛錨車輛(抛錨現場設定有warning lights, flares, cones, and an illuminated arrow board)相撞，16次車禍中，15人傷1人亡
- (2021年7月20日-2022年5月21日) 美國多州，Auto-Pilot模式，總共392起EV車禍，273次車禍來自純視覺感覺産品應用
- (2018年3月) 美國加州，天氣良好，Auto-Pilot模式，與高速公路的邊界栅欄相撞，導緻車輛起火，人員死亡
- (2016年下月) 美國威州，天氣良好，Auto-Pilot模式，(第一起)與洲際公路的路肩停車位的卡車相撞，導緻車輛起火，1人死亡
如圖1所示，事故分析原因比較複雜，人為疏忽因素猜測應該是主因(例如系統感覺決策能力不滿足應用場景時責任人主體未能及時接管車輛等等)。有關系統感覺決策能力問題，目測分析有可能來自于感覺層目辨別别，其原因可能包括：未能準确識别倒地的貨車、路邊橋墩、可行駛的區域，或者攝像頭髒污，器件突然失靈等等。從上述分析可以看出，從2016年的第一起，到2022年的相同僚故發生，純視覺方案未能有效識别路肩停車位的卡車還是有很大可能性的。我們的出發點是希望能夠更好的解決ADS行業落地的衆多難題，當然不希望這些前沿技術探讨誤導了行業專家和消費者心理，也特别注明不會對文中任何敏感領域的問題探讨承擔任何法律責任，完整的事故分析結果請讀者以官方出台的報告為事實依據。
對比US全國1 in 484,000 miles的事故率，來自某著名T車廠釋出的2021年自産車交通事故安全評估的分析資料如下：
可以看出十倍的提升，依舊滿足不了大衆對智能出行安全的期望值。如果定位在上百倍或上千倍的提升為目标值或者說大衆可以接受的程度，對行業設計者來說，前方的路依舊是任重而道遠，更需要上下而求索，在5-10年内傳遞一個比較完美的答案。
ADS的場景不确定性
自動駕駛ADS主要是由高速場景向城市道路場景演進來落地領航輔助NOA功能，AI與場景的深度融合，推動ADS逐漸實作從低速到高速，從載物到載人，從商用到民用，從階段一提供L2進階輔助駕駛和L3擁堵高速公路副駕駛，發展到階段二可以提供L3擁堵公路自動駕駛和L4高速公路自動駕駛，最終實作階段三的L4城郊與市區自動駕駛和L5商用無人駕駛等等。ADS算法的典型系統分層架構如圖2所示，一般包括傳感層，感覺層，定位層，決策層(預測+規劃)和控制層。每個層面會采用傳統算法模型或者是與深度學習DNN模型相結合，進而在ADS全程駕駛中提供人類可以認可的高可靠和高安全性，以及在這個基礎上提供最佳能耗比、最佳用車體驗、和使用者社交娛樂等基本功能。
圖2：ADS技術棧案例 (Nageshrao,2022)
極端惡劣場景問題
ADS部署的傳感器在極端惡劣場景(雨雪霧、低照度、高度遮擋、傳感器部分失效、主動或被動場景攻擊等)的影響程度是不一樣的。是以傳感器組合應用可以來解決單傳感器的感覺能力不足問題，常用的多模傳感器包括Camera(Front-View or Multiview; Mono or Stereo；LD or HD)，毫米波Radar(3D or 4D)和雷射雷達LIDAR(LD or HD)。如圖3所示，ADS傳感器特性可以總結如下：
Camera
優勢：
- 可以提供360環視和遠距前後視角的環境語義表征。
- 單目和多目Camera可以提供一定程度的目标深度資訊。
不足：
- (如圖4和圖7所示)受惡劣場景影響嚴重：雨雪、濃霧、強光等場景。
- 鏡頭髒污會嚴重影響圖像品質。
- 需要一個照明環境。
LIDAR
優勢：
- 可以提供場景的空間資訊。
不足：
- 難以檢測有反光效應的或者透明的物體。
- (如圖5所示)當雨速高于40mm/hr到95mm/hr，信号反射密度嚴重損失并産生雨枕現象。
- (如圖5、圖6所示)大雪天氣下可視距離縮短并産生反射幹擾波形。
- (如圖5所示)濃霧場景會産生鬼影現象。
- 溫差會産生額外時間延遲。
Radar
優勢：
- 總體對環境的适應性高。
- 對周圍車輛檢測準确率高，可以提供目标的速度資訊。
- 4D Radar還可以提供目标高度的可靠資訊。
不足：
- 不适合做小目标檢測。
- 不能檢測塑膠袋等材料。
- (如圖6所示)大雨濃霧和暴風雪會産生接收信号強衰減和斑點噪聲。
圖3：ADS傳感層的不确定性與性能對比(Khan, 2022)
圖4：Camera(RGB, Thermal) 和LiDAR的強光場景(Zhang 2022)
圖5：Camera和LiDAR的濃霧暴雨場景(Zhang, 2022)
圖6：LiDAR的暴風雪場景(Zhang 2022)
圖7：Camera和LiDAR的雨天場景(Zhang 2022)
ADS感覺層的一個主要挑戰是惡劣場景的挑戰。如圖8所示，對比LiDAR和Camera，4D高清Radar發送的毫米波，可以有效穿越雨滴和雪花，不受低照與雨雪霧天氣影響，但會受到多徑幹擾問題影響，總體來說對環境的适應性高，單獨或者組合應用對2D/3D目标檢測非常有優勢，同時還可以提供高精度的目标高度和速度資訊，可以有助于ADS的預測規劃性能提升。
圖8：4D Radar，Camera，LiDAR點雲的3D目标檢測識别對比案例 (Paek, 2022)
遮擋場景問題
ADS感覺層的主要應用場景包括高速公路，城郊與市區道路；十字路口，交通環島，潮汐公路；隧道，停車場等，其主要任務是基于多模的2D/3D人車物目辨別别，動态目标跟蹤與速度識别，交通标志識别，車道線識别，紅綠燈識别，路面可行駛區域語義分割，路面障礙檢測，盲區檢測，交通事件檢測，司機打瞌睡檢測等。與此對應的核心産品特性包括：碰撞預警，緊急刹車，車道偏離預警，傳感部分失效預警；車道變道，車道并道，路口通行，行為預測，軌迹預測，軌迹規劃；車速控制，轉向控制等等。
ADS感覺層的一個挑戰是目标遮擋即感覺盲區的挑戰。單純依賴AVs自身360全方位近距感覺和遠距感覺，很難能夠讓ADS從理論上完全超越人類的駕駛水準，通過預測預警達到更低的交通事故率和提供更好的人身安全。如圖9所示的典型前方遮擋場景，Camera畫面相對影響較小，LiDAR前方有大片區域由于遮擋出現空白，嚴重影響感覺決策。一個可行的政策是利用這類3D陰影特性進行障礙目标檢測，即将陰影與遮擋目标關聯，通過這種先驗假定來降低目标漏檢率(Haul, 2022)。
圖9：近場目标遮擋場景（Haul, 2022)
如圖10所示的對比案例，可以看出車路協同可以有效解決盲區與上述所說的長距感覺的挑戰，但對應的缺點也不言而喻，部署的成本與長期可靠營運費用以及如何防網絡攻擊問題，這決定了對鄉村和偏遠地區的場景，需要尋求AVs自身的多模感覺認知決策能力提升。
圖10：獨立感覺與車路協同感覺對比案例(Mao, 2022)
圖11：多視覺的目标多模感覺與融合識别案例(Mao, 2022)
如圖11所示，V2X的可行解決方案包括交通要道部署的RSU Camera，LiDAR，或者Radar，對算法設計來說，需要解決海量點雲資料的壓縮與實時傳輸，以及針對接收資料的時間軸同步，多模感覺與特征融合目辨別别等。目前這個領域基于Transformer在BEV空間進行多任務多模态的融合感覺已經有了一些長足進展，融合的方式也可以自由組合，包括多視覺的Camera視訊融合，以及 Camera與LiDAR或者Radar的組合融合模式，對點雲資料的超分變率會改善融合效果，但融合對延遲非常敏感。
目标可感覺和小目标的問題
ADS感覺層的一個挑戰是可感覺目标距離的挑戰。遠距離(250-300米)小目标感覺任務對高速行駛AVs的安全響應速度是至關重要的。對3D目辨別别等視覺任務可說，随着感覺距離增加，抽取高密度特征的AI主幹網絡的計算複雜度會按照二次元速度增加，對算力需求也加速度增加。從圖12的對比還可以看出，采用長距LIDAR可以提升感覺距離，特征點可以覆寫更大的區域但更稀疏，同時也會産生”Centre Feature Missing(CFM)”即點雲空心化或者叫黑洞的問題，極端場景包括近距離的超大車輛的中心特征缺失。解決CFM挑戰問題的一般方法是在BEV特征空間依賴卷積操作通過特征發散來提供中心區域的感覺場，或者通過點雲中非空的區域來預測中間空心區目标，代價是目标預測誤差和不确定性的輸出結果，或者通過連通域打标簽CCL進行Instance Point Group進行插值和濾波，以及整個點雲的超分變率Super-Resolution來改善性能。
圖12：短距LIDAR點雲(紅色，75米)與長距LIDAR點雲(藍色，200米)對比案例 (Fan, 2022)
立體盲Stereoblindness的問題
人類是通過雙目視差來進行2D/3D目标的識别與定位，純視覺感覺設計，通過跨攝像頭部署或者希望通過單目視訊資訊進行3D目辨別别，總體性能在實際駕駛環境中有産品應用體驗。立體盲的問題，可以對比參考一下這些場景分析來定義，如圖13所示的兩個事故案例：純視覺感覺算法錯把2D宣傳畫當成真實的3D目标，不停地針對假想的在前方飛奔的行人進行緊急刹車，徹底是一種邏輯混亂狀态，嚴重的話也會因為采取了錯誤決策導緻車禍。設想一下，如果類似宣傳畫、交通障礙标志(宣傳畫或者實際物品)在行駛車輛上，也許通過點雲來識别目标是否運動，純粹靠單目或跨攝像頭融合感覺3D或者所謂活體目标，困難重重。一種解決的思路是采用Few-shot Learning-based的方法來消除立體盲問題帶來的緻命安全威脅。如圖14所示，EyeDAS案例是對檢測到的目标摳圖進行四種屬性的非監督機率估測，通過一個宏分類器來決策是否是2D/3D目标。類似這樣的實作政策，相信如果有足夠的資料，一個DNN網絡同樣可以基于單目做很好的活體或者3D目辨別别，可以見到類似的這樣設計，但立體盲問題需要重點評估。
圖13：兩個事故案例：錯把2D宣傳畫當成真實目标(Levy 2022)
圖14：EyeDAS 後處理算法案例(Levy 2022)
ADS的感覺算法不确定性
從UN的統計資料可以看到，全球每年道路交通事故都約有5000萬人傷，125萬人亡，經濟損失可以高達約1.85萬億美元，而94%交通事故均來自可以避免的人為因素，且90%發生在中低收入的國家。研究表明，将有效預警提前1.9秒，事故率可下降90%，而提前2.7秒，事故率可下降95%，是以AI算法的感覺認知領域的技術進展推動了輔助ADAS以及自動駕駛ADS技術的行業落地也是勢在必然的。2021年統計資料表明，一個US司機在自然駕駛環境NDE下每英裡的車禍發生平均機率約在百萬分之一的水準。而2021年US加州自動駕駛車輛AVs最好的disengagement rate也隻能做到十萬分之一。由于篇幅原因，本文不準備全面展開讨論感覺算法中衆多不确定性問題。隻重點讨論1-2個大家比較關注的技術難點。
稀缺目标檢測的問題
“長尾問題”沒有一個很明确的定義，一般指AVs即使經曆了交通公路百萬公裡數的路況測試，對每個AI算法子產品而言，包括感覺層和決策層(預測+規劃)，仍不能完全覆寫各種各樣的低機率安全至關重要的複合駕駛場景，即所謂的“Curse of Rarity(CoR)稀缺問題”。業界對如何實作一個通用的任意目标種類的檢測器或者是一個通用的運動目标檢測器，依舊是一個未解的技術難題。如何定義和分析這些稀有場景，也可以有助于更好了解目标檢測識别語義了解預測決策算法性能的提升，進而加速安全可靠的ADS解決方案的開發與部署。
如同圖15和本文開頭所提到的交通事故原因分析所述，CoR問題中稀有(小樣本)目标的場景比比皆是，這裡簡短羅列一些供大家參考：
- Traffic Cone，Traffic Barrels, Traffic Warning Triangles未能被準确識别導緻的二次車禍場景
- 不容易被檢測到的公路上飄逸的塑膠袋
- 山體滑坡導緻公路路面障礙物
- 公路上行走的各類動物
- 車前方正常行駛交通車輛，如果裝載了交通交通标志物體如何有效檢測和決策
- 有一定坡度的路面如何有效進行2D/3D物體檢測
圖15：CoR小樣本目标場景(Li 2022)
圖16：ADS中CoR問題的呈現圖 (Khan, 2022)
如圖16所示，CoR稀缺問題總體有很多中解決方法，但在機器人、ADS領域的一個關鍵挑戰是系統安全性能的保證。一個解決的思路是采用仿真來産生上述所提的大量稀少的安全事件場景，但仍然遠遠不夠，原因在于多數仿真環境采用手工設計的規則很難模仿現實駕駛場景的高複雜性與不确定性，安全相關的真實事件資料非常難以采集，實際路況中人車互動和車車互動也很難模組化，安全度量和評估也同樣異常艱難。從AI算法角度，可以在仿真資料基礎上繼續結合Importance Sampling和Importance Splitting方法，Importance Sampling方法可以根據輸入的機率分布來對輸出的Likelihood Ratio釋然比進行權重來産生無偏置的估計，這隻适合簡單的場景。Importance Splitting方法強激勵的通道可以繼續分解，可以将稀有事件的估計分解成條件機率分布序列進而減少估計方差，但人工設定的門檻值選取是一個挑戰，也很難評估Policy空間的性能敏感性，尤其是針對near-miss事件和交通事故等各類不确定性。
涉及交通安全的事件場景資料是非常稀缺的。假定上億英裡裡程數可能碰到一次AVs的緻命事件，需要上萬億英裡的裡程數估計才能積累足夠的資料。從工程實踐來看是非常不現實的，雖然2022已有幾個國家先後開通了ADS L4車輛上路的法規，但這個僵局嚴重影響了AVs安全性能的提升和部署程序。一個可行的方案是通過收集人駕駛的車輛資料，例如US交通部的統計，每年全國有3萬億英裡的裡程數累計，其中包括6百萬次車禍，2百萬人受傷，3萬人緻命傷亡事件。避開資料采集的隐私問題不談，這類自然駕駛環境NDE海量車輛軌迹資料，可以有助于建立高保真NDE模型，進而通過仿真環境來建構大量合成資料，這樣的思路在過去對其它行業感覺類視覺任務已經證明是非常行之有效的。
業界第二種思路是将這類涉及交通安全事件的發生機率降低到人類可以接受或者可以忽略的水準。如圖11所示，解決問題的途徑包括協同CAV技術，即通過對道路基礎設施部署大量的多模傳感裝置(Camera, LIDAR, Radar)，通過 V2V，V2I(例如路邊邊緣計算裝置RSD)和V2X通信技術來提供車車或者車路協同來實作知識與資訊共享，有效解決單個AVs由于遮擋和有限視野問題産生的難決策的僵局。相對而言，單AV的多攝像頭、多模融合感覺多任務共享，以及CAV(V2V,V2I)之間跨攝像頭、跨模感覺融合技術目前已經有非常明顯的進展。
目标檢測置信度問題
對目标檢測任務而言，一個主要的發展趨勢，是從CNN(Compute-bound)向Transformer (memory-bound)演進。CNN目标檢測方法包括常用的Two-Stage Candidate-based正常檢測方法(Faster-RCNN)和One-Stage Regression-based 快速檢測方法(YOLO, SSD, RetinaNet, CentreNet)。Transformer目标檢測方法包括DETR, ViT, Swin Transformer, Detection Transformer (如Error! Reference source not found.所示)等等。兩者之間的主要差别是目标感覺場的尺寸，前者是局部視野，側重目标紋理，後者是全局視野，從全局特征中進行學習，側重目标形狀。
對于這些目标檢測識别的SOTA深度學習DL模型而言，采用Softmax或者Sigmoid層做預測輸出，一個常見的問題是，由于遮擋等多因素原因，會導緻網絡層産生過高的置信度預測，會遠偏離實際的機率分布score，如圖17所示。而且DNN網絡越深，神經元越多，這種叫做Overconfidence的交叉效應也越明顯。對應感覺輸出結果會極大影響ADS決策甚至會産生錯誤決策。一種可行的技術政策是在DNN中添加一個基于貝葉斯最大似然率ML或最大後驗機率MAP的推理層，這種基于目辨別别的機率特性可解釋性強，更值得信賴。
圖17：Softmax過高置信度分布VS機率密度分布的案例(Melotti 2022)
ADS算法設計的一個艱巨任務是如何減少Overconfidence預測，如何捕獲這種預測的不确定性。然而這類不确定性估計和對應基于安全的設計是一個很大的挑戰，不确定性與采用的算法形态(子產品化的或者端到端的；多模态實作；深度融合或者部分子產品聯合模組化的政策)、資料規模、不确定性的量化表征(熵、互動資訊、KL Divergence、預測方差)、多智能體的互動狀态和行為都非常相關，也不容易模組化，是以有改善，仍待從理論的角度進行提高，這也是目前學術研究的一個最大熱點，即如何有效對ADS系統進行機率估計，確定AVs車輛在行駛中保持在一個安全狀态。一些有效的嘗試包括采用Generalized Polynomial Chaos(GPC)混沌學GPC模型來取代感覺模型中的複雜度感覺分量，并用來評估加入不安全狀态的狀态分布或者是機率，評估的準确度很接近Monte Carlo仿真，并有幾倍計算速度提升。
ADS感覺的資料驅動DDM模型，其安全可信某種程度上其實是來自與訓練資料中隐含的行為定義，這對實作ADS安全至上的感覺帶來了大挑戰。實際行駛應用中(可以認為是随機的、部分可觀察的互動環境)可以通過對目前運作狀态的不确定性進行估計，進而調整系統随後的行為，和基于這些估計決定AVs的安全距離控制。
參考文獻：
【1】Z. Wu and etc., “DST3D: DLA-Swin Transformer for Single-Stage Monocular 3D Object Detection”, https://ieeexplore.ieee.org/document/9827462
【2】W. Wang and etc., “Towards Data-Efficient Detection Transformers”, https://arxiv.org/abs/2203.09507
【3】S. Nageshrao and etc., “Robust AI Driving Strategy for Autonomous Vehicles”, https://arxiv.org/pdf/2207.07829.pdf
【4】M. Khan and etc., “Level-5 Autonomous driving – are we there yet?”, https://www.researchgate.net/publication/358040996
【5】D. Paek and etc., “K-Radar: 4D Radar Object Detection Dataset” https://arxiv.org/pdf/2206.08171.pdf
【6】R. Mao and etc., “perception Enabled Harmonious and Interconnected Self-Driving”, https://arxiv.org/pdf/2207.07609.pdf
【7】L. Fan and etc., “Fully Sparse 3D Object Detection”, https://arxiv.org/pdf/2207.10035.pdf
【8】Z. Hau and etc., “Using 3D Shadows to Detect Object Hiding Attacks on Autonomous Vehicle Perception”, https://arxiv.org/pdf/2204.13973.pdf
【9】Y. Zhang and etc., “Autonomous Driving in Adverse Weather Conditions: A Survey”, https://arxiv.org/pdf/2112.08936v1.pdf
【10】N. Li and etc., “Traffic Context Aware Data Augmentation for Rare Object Detection in Autonomous Driving”,https://arxiv.org/pdf/2205.00376.pdf
【11】G. Melotti and etc., “Reducing Overconfidence Predictions in Autonomous Driving Perception”, https://arxiv.org/pdf/2202.07825.pdf
【12】E. Levy and etc., “EyeDAS: Securing Perception of Autonomous Cars Against the Stereoblindness Syndrome”, https://arxiv.org/pdf/2205.06765.pdf
本文僅做學術分享，如有侵權，請聯系删文。
—THE END—