自動駕駛仿真調研
一、自動駕駛技術棧都有哪些？
二、為什麼需要仿真？
- 随着現在深度學習的興起，仿真在自動駕駛領域有了新的用武之地。自動駕駛平台通過仿真采集資料，可以把訓練時間大大提高，遠遠超出路測的時間，加快模型疊代速度。先利用叢集訓練模型，然後再到實際的路測中去檢驗，采用資料驅動的方式來進行自動駕駛研究。
- 驗證新的算法，仿真通過軟體模拟來發現和複現問題，而不需要真實的環境和硬體，可以極大的節省成本和時間。
三、如何進行仿真？
- 要模拟車所在的環境，就得把真實世界投影到虛拟世界，并且需要構造真實世界的實體規律。
- 把自動駕駛中的場景複制到遊戲世界，然後模拟自動駕駛中各種傳感器采集遊戲世界中的資料。
四、有哪些主流的仿真軟體？
[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-PBtnRYE8-1628497591862)(/Users/zengjiawei/Library/Application%20Support/typora-user-images/image-20210806154618399.png)]
五、仿真模拟的是自動駕駛的哪些部分？
- 傳感器資料
- 攝像頭深度資訊
- 攝像頭場景分割
- 攝像頭長短焦
- Lidar點雲
- Radar毫米波
- Gps資訊
- 真實世界實體規律
- 碰撞檢測
- 光線和天氣變化
- 汽車動力學模型
- 真實世界地圖
- 地形地貌
- 道路交通
- 交通标志
- 行人等各種因素
六、目前自動駕駛仿真基礎實作是怎樣的？
目前主流的實作方式是通過遊戲引擎來模拟真實環境，通過CarSim等軟體建構汽車的動力學模型來實作自動駕駛仿真。
七、自動駕駛仿真軟體需要滿足什麼條件？
- 場景豐富
- 接口靈活
- 恢複快速
- 部署友善
八、自動駕駛仿真中，場景應該如何分類？
- 可定義的場景: 主要是針對駕駛過程中遇到的不同情況，比如會車，超車，紅綠燈，變道等，這些場景一般都比較簡單，類似于單元測試，主要是測試單個場景是否能夠滿足要求，拿超車的場景舉例子，可以建立一輛NPC車輛在本車的前面，在不同的速度和距離條件下，測試本車超車是否成功。
- 真實場景： 複現真實場景中遇到的問題，比如真實路測過程中遇到問題，需要複現當時的情況，并且驗證問題是否已經解決，可以回放真實場景的資料來進行測試。
- 随機場景： 這種場景類似于路測，模拟真實環境中的地圖，并且随機生成NPC，天氣，交通情況等，模拟汽車在虛拟的環境中進行路測，由于可以大規模部署，可以快速的發現問題。
九、自動駕駛仿真中，地圖應該如何制作？
方案一 根據地圖生成模型
先生成高精度地圖，即根據真實環境先繪制出高精度地圖，然後再把高精度地圖導入遊戲引擎，動态的生成模型，這個方案的好處是地圖100%是真實場景，而且不需要在遊戲引擎中重新繪制高精度地圖，壞處是建築的模型無法生成。
方案二 正常方法地圖模型制作
- 單個模型制作，單個模型包括地圖中的建築物、道路、樹木、信号燈、交通牌、以及其他的資訊。這些資訊如果是要完全模拟真實環境，需要大量的材質和貼圖，一般是在maya和3d-max等軟體中模組化，然後再導入模型到遊戲引擎中使用。
- 地圖布局，有了單個模型，當需要把單個模型組合成地圖的時候，首先需要解決的是道路的位置資訊，比如這個道路有多長，道路的曲率是多少？比較簡單點的方法是直接導入2維地圖（百度，高德，OSM），然後對照着2維地圖放模型，最後生成整個地圖的布局。而實際的問題是2維地圖的精度往往達不到要求，國内的地圖還加入了GPS偏置，是以生成的地圖布局必定會不太準确。
十、仿真軟體中，無人車的模型該如何考慮？
- 車的動力學模型，這一部分是傳統仿真軟體的強項，由于應用已經非常成熟，遊戲中的汽車動力學模型都比較簡單，由于CarSim等軟體沒有開源，是以目前短期内一個比較好的解決方案是，仿真器提供API接口，調用CarSim和Simulink等軟體的動力學模型，實作對汽車的模拟。
- 傳感器 ，傳感器主要是GPS、IMU、LIDAR、RADAR、CAMERA等，涉及到傳感器的位置，校準參數等。當然這一部分也可以仿真傳感器視野範圍(FOV)，也可以仿真傳感器的校準算法。
十一、除了模型以外，仿真軟體還需要模拟哪些物體和行為？
NPC
npc包括行人和車輛。
- 行人 - 目前主要是模拟行人過馬路，以及在路邊行走，以及更加複雜的場景，例如下雨天打傘的行人，對于這些異常場景，感覺子產品不一定能夠正常識别。
- 車輛 - 車輛的行為可以由一些簡單的行為來模拟複雜的行為，例如停車，變道，加速，減速，來組合出超車，會車等複雜行為。也可以通過模拟真實情況的交通流資料，來模拟整個行為。前一種測試的行為比較成熟，後一種需要根據實際的情況提取出行為，再加入補全資訊，才能夠正常工作。
天氣
天氣主要是影響傳感器的感覺，最主要的就是攝像頭。對LIDAR的影響由于目前沒有閱讀相關平台是否有加入噪聲，這裡就先不展開了。
- 天氣 - 雨、雪、霧、雲層 調整不同的比率來模拟不同的天氣情況對傳感器的影響，雲層主要是會影響光照變化，多雲投射的陰影對車道線識别等會有影響。
- 時間 - 白天和夜晚不同光照場景下對傳感器的影響。
紅綠燈
這一部分可以歸納為交通信号的行為，其中分為:
- 有保護的紅綠燈 - 各大城市是最普遍的，即有箭頭的紅綠燈，根據對應車道的紅綠燈直行或者拐彎。
- 無保護的紅綠燈 - 即圓形的紅綠燈，對面可以直線的同時，你可以拐彎，需要注意對面直行的車輛，選擇讓車之後再拐彎。
- 無紅綠燈 - 這種常見于郊區路口，需要判斷有沒有車輛經過而讓行或者停止，然後再通過路口。
十二、自動駕駛仿真的幾大挑戰
- 仿真其實就是項目開發中驗證測試的一環，如何說明你的仿真軟體足夠真實、可靠，你的測試結果足夠有說服力？
- 仿真過程中傳感器資料的真實程度，以及多個傳感器時的資料處理能力，海量資料的存儲。
- 車輛動力學模型的準确度還需要進一步提高。
- 駕駛行為的評估，駕駛行為的決策是否合理，很多事件（比如人的生命或者倫理無法做出一個總是對的決定）這一方面的評價目前還無法完全自動完成。
十三、自動駕駛仿真測試的意義（原因）
自動駕駛汽車在真正商業化應用前，需要經曆大量的道路測試才能達到商用要求。但作為新興事物，自動駕駛汽車仍面臨着大量問題需要克服，如道路測試的時間成本、各國對于自動駕駛的法律法規容忍度、極端場景及危險工況的測試安全性、各國道路交通環境及習慣不同等問題，都給自動駕駛系統研發測試帶來諸多困難。
需要進行仿真的意義主要展現在以下幾個方面：
- 自動駕駛汽車路測缺乏法律依據。目前在絕大部分公開道路，尤其是高速公路上測試自動駕駛汽車仍然缺乏法律依據，阻礙了測試的進度。
- 自動駕駛路測車輛禁止載人載貨，導緻測試不全面。現行規定明确禁止測試過程中搭乘與測試無關的人員或貨物，阻礙了測試主體開展更豐富的自動駕駛技術性測試。
- 自動駕駛汽車事故責任劃分缺乏法律依據。由于自動駕駛汽車的駕駛主體是自動駕駛系統或自動駕駛服務商，和現行人類駕駛員為主體的交通法規體系存在很大差别。《侵權責任法》、《道路交通安全法》等法規中有關機動車交通事故的責任體系将不再适合，導緻目前自動駕駛汽車的相關法律糾紛出現無法可依的局面。
- 自動駕駛汽車缺乏相應的保險理賠機制。自動駕駛汽車突破了有關機動車保險的規定，使得目前的自動駕駛汽車“無險可投”，增加了測試企業及其他交通參與者的風險。
- 極端交通條件和危險場景複現困難，而且測試安全存在隐患。自動駕駛汽車在實際道路行駛過程中，極端交通條件和危險場景可遇不可求，且安全問題也是一大困擾。根據美國國家公路交通安全管理局（NHTSA）的統計資料，汽車平均行駛43.6 萬英裡（70 萬公裡）才會發生一起事故，平均行駛1 億英裡（1.6 億公裡）死亡大約1 人。此外，自動駕駛汽車測試行業依然沒有就測試的安全性等标準達成一緻，制約了自動駕駛的研發測試。
- 形成全球認可的自動駕駛産業鍊體系比較困難。由于世界各國社會和經濟環境千差萬别，各地區的道路環境和交通習慣也大相徑庭。中國的城市道路中快遞、外賣、行人混行情況普遍存在，對于自動駕駛汽車的感覺決策能力提出了更高的要求。而且中國的道路交通标志、标線設定不規範情況普遍存在，不同地區之間也有差别。國内與國外的交通标志标線顔色、文字說明等方面也存在差别，這些在短期内很難得到改變。
十四、自動駕駛仿真解決了自動駕駛的什麼關鍵問題？
基于場景庫的仿真測試成為自動駕駛研發的關鍵
目前基于場景庫的仿真測試是解決自動駕駛路測資料匮乏的重要路線。仿真測試主要通過建構虛拟場景庫，實作自動駕駛感覺、決策規劃、控制等算法的閉環仿真測試，滿足自動駕駛測試的要求。場景庫是自動駕駛仿真測試的基礎，場景庫對現實世界的覆寫率越高，仿真測試結果越真實。而且自動駕駛汽車研發的不同階段對于場景庫的要求也不同，需要場景庫實作不同的測試功能。
十五、結合自動駕駛仿真的開發流程是怎樣的？
在自動駕駛的開發流程中，純模型仿真—軟體在環仿真—半實物仿真—封閉場道地路測試—開放道路測試的開發流程是最經濟、高效的開發流程。
十六、有沒有脫離遊戲引擎在做的自動駕駛仿真？
輕舟智航
是要把真實道路場景完全“搬”到電腦上嗎？汪堃對此表示否認。在他看來，這種基于遊戲引擎開發的仿真軟體，場景的确非常真實，但實用性卻不高。
一般而言，遊戲引擎的圖像渲染可以做到特别真實，但過程中會消耗大量額外計算資源，不利于大規模應用，且渲染效果與真實物體狀況存在一定差别，對感覺能力的提升有限。此外，由于這屬于一種Re-build軟體（基于第三方軟體開發），與自動駕駛軟體的開發互相獨立，因而難以保證各個子產品确定性，這可能導緻整個仿真軟體存在不确定性，最終影響可用性。
不同于此，輕舟智航自主研發的仿真軟體摒棄了複雜的渲染工作，界面簡單，**僅保留感覺結果，包括3D Box和雷達點的疊加。**與此同時，該軟體還能做到與車載系統基本一緻，能在仿真中複現路上出現過的問題，以此進行修複，保證再次上路時不出現同樣問題。
十八、仿真能為自動駕駛帶來什麼？
一、低成本
仿真的路測成本大約是實際路測成本的1%，甚至更少。在進行實際路測時，需要有硬體成本、傳感器成本、司機成本以及系統工程師的成本，而且一天隻能有效測試8到10個小時。而利用仿真路測，在要求不高時，隻需要一台電腦和GPU，便能連續24小時進行測試。
二、靈活性
在實際路測中，遇到極端情況是很小機率的事件，而且不安全。而在仿真系統裡，工程師可以通過手工編輯或自動生成來測試衆多極端情況，保證在實際路測前有充分的驗證。
三、可擴充性
仿真的擴充性比實際道路測試的擴充性大，仿真路測裡程大概1000倍于實際路測裡程。仿真系統所需要的硬體成本是很低的，而車隊的硬體成本、人員成本以及營運成本是非常高的，随着雲服務的發展，仿真的可擴充性将遠大于車隊的可擴充性。
四、可衡量性
在開發自動駕駛軟體時，每一天都存在大量代碼的更改以及算法的疊代，那如何知道這個月的軟體和上個月的軟體哪個表現更優？這種比較是難以通過實際路測進行的，因為在車輛有限的情況下，測試的場景以及裡程數都有限，很難得到一個可靠的統計結果。但借助仿真，工程師能在大量場景庫裡并行地進行測試，在很短時間内便能對軟體版本進行評估。未來，在評估軟體是否達到量産水準時，仿真也是主要的測試評價技術。