NeurIPS｜真實、可控、可拓展,自動駕駛光照仿真平台LightSim上新

機器之心專欄

機器之心編輯部

最近，來自 Waabi AI、多倫多大學、滑鐵盧大學和麻省理工的研究者們在 NeurIPS 2023 上提出了一種全新的自動駕駛光照仿真平台 LightSim。研究者們提出了從真實資料中生成配對的光照訓練資料的方法，解決了資料缺失和模型遷移損失的問題。LightSim 利用神經輻射場（NeRF）和基于實體的深度網絡渲染車輛駕駛視訊，首次在大規模真實資料上實作了動态場景的光照仿真。

視訊加載中...

項目網站：https://waabi.ai/lightsim
論文連結：https://openreview.net/pdf?id=mcx8IGneYw

為什麼需要自動駕駛光照仿真？

相機仿真在機器人技術中，尤其對于自動駕駛車輛感覺室外的場景非常重要。然而，現有的相機的感覺系統一旦遇到訓練時未學習過的室外照明條件，就表現欠佳。通過相機模拟生成豐富的室外照明變化資料集，可以提高自動駕駛系統的魯棒性。

常見的相機仿真方法一般基于實體引擎。這種方法通過設定 3D 模型和照明條件來渲染場景。但往往仿真效果缺乏多樣性且不夠逼真。此外，由于高品質的 3D 模型數量有限，并且實體渲染結果與真實世界場景不完全比對。這導緻訓練模型在真實資料上的泛化能力較差。

另一種是基于資料驅動的（data-driven）仿真方法。它利用神經渲染重構真實世界的數字孿生（digital twins），以複制傳感器觀測到的資料。這種方法可以更具擴充性地建立場景并提高現實感，但現有技術往往将場景照明烘焙（bake）到 3D 模型中，這阻礙了對數字孿生進行編輯，如改變照明條件或增删新的物體等。

在 NeurIPS 2023 的一篇工作中，來自 Waabi AI 的研究者們展示了一個基于實體引擎和神經網絡的光照仿真系統 LightSim: Neural Lighting Simulation for Urban Scenes.

不同于以往工作，LightSim 同時做到了:

1. 真實（realistic）: 首次做到對大規模室外動态場景進行光照仿真，并且可以較為準确地模拟陰影、物體間的光照效果等。

2. 可控（controllable）：支援動态駕駛場景的編輯（增添、删除物體、相機位置和參數、改變光照、生成安全關鍵場景等），進而生成更逼真且一緻性更強的視訊來提升系統對于光照和邊緣情況的魯棒性。

3. 可擴充 (scalable): 友善擴充到更多的場景和不同資料集中，隻需要采集一次資料（single pass), 就能重建立構并進行真實可控的仿真測試。

仿真系統的搭建

第一步：建構真實世界的可重新照明數字孿生體

為了在數字世界中重建自動駕駛場景，LightSim 首先從采集的資料中劃分動态物體和靜态場景。這一步使用了 UniSim 來重建場景，并在網絡中移除了相機視角依賴。再使用 marching cube 得到 geometry, 并進一步轉換為帶有基本材料的 mesh。

除了材料和幾何，LightSim 還能夠根據室外白天場景的主要光源太陽和天空，估算室外照明，得到高動态範圍的環境圖（HDR Sky dome）。借助傳感器資料和提取的幾何體，LightSim 可以估算出一個不完整的全景圖像，然後補全它，獲得一個全方位 360° 的天空視圖。進而利用這個全景圖像和 GPS 資訊生成 HDR 環境圖，準确估算出太陽強度、太陽方向和天空外觀。

第二步：動态城市場景的神經照明仿真

在得到數字孿生體後，可以進一步對其進行修改，例如增加或移除物體，改變車輛軌迹或更改照明等，以生成增強現實的表征。LightSim 将執行基于實體的渲染，生成有關修改場景的照明相關資料，如基本色彩、深度、法向量和陰影。利用這些與照明相關的資料以及對場景源和目标照明條件的估算，LightSim 的工作流程如下所示。

雖然基于實體的渲染圖像很好地重構了場景中的照明效果，但由于幾何形狀的不完美以及材料 / 照明分解中的誤差，渲染結果往往缺乏真實感，例如模糊、不真實的表面反射和邊界僞影。是以，研究者們提出了增強真實感的神經延遲渲染。他們引入了一個圖像合成網絡，該網絡采用源圖像和渲染引擎生成的照明相關資料的預計算緩沖區，生成最終的圖像。同時，論文中的方法還為網絡提供了環境圖，以增強照明上下文，并通過數字孿生體生成了成對圖像，提供了一種新穎的成對仿真和真實資料訓練方案。

仿真能力展示

改變場景的光照 (Scene Relighting)

LightSim 可以在新的光照條件下以時間一緻的方式渲染同一場景。如視訊所示，新的太陽位置和天空外觀會導緻場景的陰影和外觀發生變化。