添加微信：cv3d007,備注：NeRF，拉你入群。文末附行業細分群。
作者：小張Tt | 來源：3DCV
Neural Radiance Fields (NeRF) 通過合成 3D 場景新視角圖像展現出驚人的能力。然而，它們依賴于基于光線行進的專門體積渲染算法，這些算法不符合廣泛部署的圖形硬體的能力。本文提出了一種基于紋理多邊形的新型 NeRF 表示法，它将 3D 場景轉化為一組多邊形。這種方法使用傳統的多邊形光栅化管道進行渲染，提供了大規模的像素級并行性，可以在廣泛的計算平台上實作互動式幀率。
NeRF 是表示 3D 場景的方法，通過估計從任何位置和方向發射的密度和輻射的隐式函數，用于體積渲染架構生成新視角圖像。然而，傳統的 NeRF 實作的渲染過程太慢以至于無法進行互動式可視化。本文提出了一個名為 MobileNeRF 的方法，将 NeRF 表示為一組紋理多邊形，利用現代圖形硬體的光栅化管道和 Z-buffer 實作像素級并行性，以實作互動式幀率渲染，并在 标準測試場景上優于 SNeRG 10 倍，适用于各種常見移動裝置。
MobileNeRF 的貢獻如下：
- 在與最先進的方法（SNeRG）具有相同輸出品質的情況下，渲染速度提高了 10 倍；
- 通過存儲表面紋理而不是體積紋理，使用的記憶體較少，使本文的方法能夠在具有有限記憶體和功率的內建 GPU 上運作；
- 可以在 Web 浏覽器上運作，并且與本文測試過的所有裝置相容，因為本文的檢視器是一個 HTML 網頁；
- 允許對重建的對象/場景進行實時操作，因為它們是簡單的三角形網格。
本文介紹了在視圖綜合方面的多種方法和技術，包括光場、幾何圖形、神經網絡等。不同的方法有不同的優勢和局限性，但是它們的共同目标是實作高品質的實時渲染。作者的方法通過緩存發射輻射來實作高品質的視圖綜合，并且适用于低功率硬體上的實時渲染。同時，它不需要輸入重構的3D幾何體。與現有的方法相比，作者的方法在低功率裝置上具有更好的可用性。
本文介紹了一種優化表示以實作高效新視圖綜合的方法。該表示包含一個多邊形網格和紋理映射，采用兩階段延遲渲染過程來繪制圖像。該方法需要初始三維幾何體，并通過疊代過程中修改網格來進行優化。本文提出了一種離散表示來實作高效的新視圖綜合的方法。該方法通過渲染階段1和渲染階段2實作。作者采用三個訓練階段來建構本方法的離散表示。在最後的訓練階段，作者提取了一個稀疏的多邊形網格，将不透明度和特征烘焙到紋理映射中，并存儲了神經延遲着色器的權重。同時，作者提出了一種基于超采樣的簡單且計算高效的抗鋸齒解決方案。由于采用标準的GPU光栅化管道，是以我們的實時渲染器隻是一個HTML網頁。
本文提出了一個新穎的渲染架構，建構了一個以多邊形網格為基礎的渲染器，其中使用透明合成和神經渲染器來産生高保真度的圖像。作者使用MLPs來表示網格中的顔色和不透明度，使用MLP的輸入來表示網格中的幾何完成，進而實作了從場景資料到圖像的連續訓練。作者使用了加速格子來限制每條光線上的積分點數量，進而減少了渲染時間。與現有的渲染架構相比，作者的方法可以更好地處理反射，折射，陰影和非連續性的材料，并且對于多個資料集進行了廣泛的實驗和評估，結果表明它可以生成具有可比性的視圖。
本文介紹了如何使用離散/分類不透明度來避免處理半透明物體時需要排序的問題。作者使用一個直通估計器優化離散操作，并提出了一個聯合訓練政策來同時訓練連續模型和離散模型。離散模型的輸出輻射度由離散不透明度和顔色權重組成。最後，文章提到将進行微調來優化訓練結果。
本文介紹了如何将離散/分類不透明度的表示轉換為顯式的多邊形網格，并将其存儲為紋理圖像。作者實驗中使用的技術包括可見的四邊形的剪裁、尺寸調整和離散不透明度值和特征值的烘焙。值得注意的是，8位的量化精度在反向傳播中沒有被考慮到，但對渲染品質的影響不大。
本文采用超采樣來實作抗鋸齒，并通過對特征進行平均來避免每幀多邊形排序。抗鋸齒的變化應用于訓練階段2中，最終作者平均子像素特征來獲得抗鋸齒表示并将其傳遞給神經推遲着色器。
本文使用優化的延遲渲染管線進行渲染，包含兩個步驟：光栅化多邊形以及渲染紋理矩形并将其與特征圖像疊加。采用二進制透明度的z-buffer使得多邊形不需要按照深度排序，且由于特征轉換的小型MLP可以在GLSL片元着色器中并行運作，是以能夠在GPU上高度優化，以實作在各種裝置上以互動式幀速率運作。
MobileNeRF通過在三個資料集上進行測試，包括NeRF合成的場景，LLFF前向場景和Mip-NeRF 360的無界戶外場景，證明了在各種場景和裝置上表現良好。與SNeRG進行比較顯示MobileNeRF可以在常見裝置上實時運作。詳細的消融研究進一步研究了不同設計選擇的影響。
本研究通過在各種裝置上測試證明了MobileNeRF的出色性能和相容性。在渲染品質方面，使用PSNR、SSIM和LPIPS等名額顯示本文的方法具有與SNeRG相近的圖像品質，且優于NeRF。此外，MobileNeRF需要的GPU記憶體比SNeRG少5倍。渲染品質在相機距離适當的情況下與SNeRG類似，但當相機縮放時，SNeRG容易渲染過度平滑的圖像。三角形面不與實際物體表面對齊，是以需要更好的正則化損失或訓練目标來改善表面品質。
本文讨論了在表中展示的消融研究，分析了在每個階段中各種修改對渲染效果的影響。在第一階段中，使用固定網格或不使用視角相關效果會顯着降低性能。在第二階段中，不進行微調或僅使用二進制不透明度會導緻性能下降。在第三階段中，使用更大的紋理大小可以提高性能，但空間成本也會增加。超采樣步驟和小型MLP對性能影響最大。
MobileNeRF介紹了一種可以在廣泛的計算平台上進行高效渲染的神經場體系結構，可以比之前的最新技術更快地生成同等品質的圖像。然而，它存在一些限制，如估計的表面可能不準确，它無法處理半透明和高光表面等。擴充多邊形渲染管道可以解決這些問題，并将該架構擴充到快速訓練的體系結構這是未來工作的一個激動人心的方向。
—END—
目前工坊已經建立了3D視覺方向多個社群，包括SLAM、工業3D視覺、自動駕駛方向，細分群包括：[工業方向]三維點雲、結構光、機械臂、缺陷檢測、三維測量、TOF、相機标定、綜合群；[SLAM方向]多傳感器融合、ORB-SLAM、雷射SLAM、機器人導航、RTK|GPS|UWB等傳感器交流群、SLAM綜合讨論群；[自動駕駛方向]深度估計、Transformer、毫米波|雷射雷達|視覺攝像頭傳感器讨論群、多傳感器标定、自動駕駛綜合群等。[三維重建方向]NeRF、colmap、OpenMVS等。除了這些，還有求職、硬體選型、視覺産品落地等交流群。大家可以添加小助理微信: cv3d007，備注：加群+方向+學校|公司, 小助理會拉你入群。