本文作者：認知自動駕駛打勞工
/導讀/
近日，中科院自動化研究所、西安交通大學人工智能與機器人研究所、清華大學等機關在智能車領域國際頂級期刊IEEE Transactions on Intelligent Vehicles雜志上聯合發表了題為“Parallel Vision for Long-Tail Regularization: Initial Results from IVFC Autonomous Driving Testing”的研究文章。文中提出了用于分析和解決自動駕駛視覺感覺中長尾問題的理論架構，并基于此建構了一個平行視覺系統，在中國智能汽車未來挑戰賽（Intelligent Vehicle Future Challenge, IVFC）應用驗證。
引用格式：J. Wang et al., "Parallel Vision for Long-Tail Regularization: Initial Results from IVFC Autonomous Driving Testing," in IEEE Transactions on Intelligent Vehicles, doi: 10.1109/TIV.2022.3145035.
論文主要研究内容和貢獻包括：
提出了長尾常态化(Long-tail Regularization, LoTR)的理論架構，用于分析和解決視覺長尾問題。
基于 LoTR 理論建構了一個基于虛實互動和 ACP 閉環優化[1] [2] 的平行視覺系統（Parallel Vision Actualization System, PVAS）用于解決長尾問題。
将 LoTR 的理論分析方法和 PVAS 的實際系統結合起來應用于全球持續舉辦時間最長、無人駕駛賽事參賽隊伍最多、影響範圍最廣的自動駕駛比賽 IVFC 中。
引言
長尾是某些統計分布所具有特征的一種形象表示。在“長尾”分布中，低頻事件的分布範圍很廣，其總的發生機率和高頻事件相當。
在視覺問題中，從資料的角度考慮，正常場景出現的頻率過高，而極端場景出現的頻率非常低，很多現實世界的長尾場景隻能在特定條件下擷取，訓練集多樣性不足以表征現實世界的長尾分布；而從模型的角度考慮，許多視覺模型僅在正常場景中表現較好，對于突發的極端場景感覺能力欠佳，模型具有不完備的問題。
解決長尾問題需要在考慮正常視覺問題的基礎上，更全面地兼顧到長尾場景的影響，使視覺系統對存在長尾效應的複雜場景達到最大可能的有效智能感覺。
傳統的視覺研究在資料擷取、模型學習與評估方面存在困難。
從實際場景中采集和标注大規模多樣性的資料集，費時費力，手工标注也容易出錯；另外，實際場景不可控、不可重複，無法将場景的每個組成因素(天氣、光照等)分離出來，單獨分析對視覺算法的影響。
由于資料擷取的困難，使用規模和多樣性不足的訓練集，很難學習到精度高、泛化好的視覺模型；許多模型僅在特定環境下進行了評估，是非常不完備的。
平行視覺的基本架構及思路
圖1. 平行視覺基本架構[3]
如圖1所示，平行視覺[3] 是複雜系統模組化與調控的ACP (Artificial systems, computational experiments, and parallel execution) 理論在視覺計算領域的推廣應用，是一種虛實互動的智能視覺計算方法。
論文中将平行視覺的理論方法引入到自動駕駛領域，解決交通視覺場景中的長尾問題，取得了很好的效果。
平行視覺的主要思路是利用人工場景模拟和表示複雜且具有挑戰的實際場景，通過計算實驗進行視覺模型的訓練與評估，最後借助虛實互動的平行執行線上優化視覺模型，實作對複雜環境的智能感覺與了解。
基于平行視覺的視覺方法可以學習到更有效的視覺計算模型，同時還可以全面評估視覺算法在複雜環境下的有效性，使模型訓練和評估線上化、長期化。
通過持續對視覺系統進行優化，可以提高其在複雜環境下的運作效果，另外通過融合虛拟現實、機器學習、知識自動化等技術，可以使視覺系統真正走向實際應用。
自動駕駛中的長尾問題及常态化方法
圖2. LoTR的示意圖。(a) 在理想條件下獲得的LoTR分布的統計分布直方圖和機率密度曲線。(b) 真實世界交通事件的統計分布直方圖和拟合長尾分布的機率密度曲線。(c) 理想情況下，長尾分布和LoTR分布結合起來形成一個均勻分布。(橫坐标表示事件空間。”Crossroads wo TL” 表示“沒有交通燈的十字路口”）。
如圖2所示，長尾問題常态化是基于平行學習解決長尾問題的重要理論，通過在人工世界中利用虛拟資料對真實資料進行定向擴充，可以彌補由于資料不平衡而引起的長尾問題。
圖2(b)為真實世界交通事件的統計分布直方圖和拟合長尾分布的機率密度曲線，滿足長尾場景的機率品質函數。圖2(a)為理想條件下，在人工世界中建構的長尾常态化分布曲線，其機率品質函數滿足：
其中，為已知的現實世界中目标場景所滿足的機率品質函數。
此時，可以建構一個機率品質函數：
令，我們可以得到：
如圖2(c)所示，為一個消除了長尾效果的均勻分布。
上述推導過程可以從理論上證明，基于平行學習的長尾常态化理論上可以解決長尾問題中資料的不均衡。
基于平行視覺的自動駕駛認知增強系統架構
圖3. 用于IVFC的PVAS概述流程圖。其中，虛拟世界指的是通過仿真實作的ParallelEye-CS，真實世界指的是IVFC的試驗場。
如圖3所示，PVAS由兩個世界和包括人工系統、計算實驗和平行執行在内的三個單元組成，它們一起構成了一個虛實互動的閉環系統。
在虛拟世界中，早期的工作中已經建構了一個名為ParalleEye-CS[4] 的計算機仿真環境。ParallelEye-CS在整體布局上與IVFC中現實世界的試驗場相一緻。
在ParallelEye-CS中，通過修改仿真參數輕易地産生各種場景，這些參數不同的組合對應着不同的交通場景，是以ParallelEye-CS可以生成各式各樣且帶有标注的合成圖像。
根據LoTR理論，我們可以在虛拟世界中依據真實世界的情況模拟出一個基本滿足長尾分布的原始資料集。
基于ACP的閉環優化方法，不斷調整虛拟世界中的環境參數設定，和交通對象位置，可以疊代産生一系列的複雜交通場景。
在這一過程中，虛拟資料集的分布逐漸在一定誤差範圍内滿足常态化後的長尾分布，同時自動駕駛視覺系統也在虛拟世界中得到了初步的訓練和優化。
此時，我們可以将在虛拟世界中成百上千次的實驗經驗總結實施到真實世界的比賽場景建構過程中，設定合适的比賽任務和比賽場景，更好地檢驗自動駕駛汽車的視覺系統能力。
有了來自虛拟世界的寶貴經驗，在真實世界中搭建的比賽場景隻需要再經過一些簡單的測試和調整就可以達到理想的狀态。
同時，虛拟世界中獲得的自動駕駛視覺系統也可以作為真實視覺系統的一個有效初始狀态，加快訓練過程。
最後，每一屆比賽結束後積累的經驗也可以進一步指導下一屆比賽準備過程中虛拟環境中各種參數的選擇和設定，達到逐年提升的目的，形成虛拟世界與真實世界之間一個大的閉環優化過程。
論文中，針對上述方法和理論進行了實驗，同時結合曆年比賽資料分析，證明了系統的有效性。
拓展：中國智能車未來挑戰賽實踐與應用
IVFC由中國自然基金委員會支援，是國家自然科學基金委員會重大研究計劃“視聽覺資訊的認知計算”的重要組成部分。IVFC創辦于2009年，如圖4所示，該賽事至今已經分别在西安、鄂爾多斯、赤峰、常熟等地舉辦了十二屆，是世界範圍内持續時間最長的無人車駕駛比賽[5] 。
圖4. IVFC曆屆賽事舉辦地（2009-至今，2021年由于疫情推遲舉辦）
目前，常熟已經成為了IVFC的固定比賽站點，如圖5所示，為常熟測試場地中“田”字城鄉道路比賽場地的實際展示圖。可以在場地中在平行視覺的指導下搭建出各種各樣不同的真實交通場景，以測試自動駕駛汽車對城市和鄉村道路中各種常見場景和長尾場景的處理能力。另外，常熟測試中心還設有近十公裡長的高架道路，用于檢驗無人車在高速行進間的異常處理能力。
圖5. IVFC常熟測試基地
參考文獻
王飛躍. 平行系統方法與複雜系統的管理和控制[J]. 控制與決策, 2004, 19(005):485-489,514.
Wang F.-Y. Parallel Control and Management for Intelligent Transportation Systems: Concepts, Architectures, and Applications[J]. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(3):630-638.
Wang K, Gou C, Zheng N, Rehg J. M, Wang F.-Y . Parallel vision for perception and understanding of complex scenes: methods, framework, and perspectives[J]. Artificial Intelligence Review, 2017, 48(3): 299-329.
Li X, Wang Y, Yan L, Wang K, Deng F, Wang F.-Y. ParallelEye-CS: A New Dataset of Synthetic Images for Testing the Visual Intelligence of Intelligent Vehicles[J]. IEEE Transactions on Vehicular Technology, 2019, 68(10): 9619-9631.
Li L, Wang X, Wang K, Lin Y, Xin J, Chen L, Xu L, Tian B, Ai Y, Wang J, Cao D, Liu Y, Wang C, Zheng N, Wang F.-Y. Parallel testing of vehicle intelligence via virtual-real interaction[J]. Science Robotics 4, no. 28 (2019).