作者：洛洛 | 來源：3DCV
在公衆号「3DCV」背景，回複「原論文」可擷取論文pdf和代碼連結
添加v：dddvision，備注：結構光，拉你入群。文末附行業細分群
1、導讀
傳統的相位測量偏折測量技術在測量低反射率的表面和複雜曲面時存在一些問題。低反射率表面的捕獲的條紋圖案品質很差，無法正确提取相位。而複雜曲面會産生包含閉環和開環特征的複雜反射條紋圖案，使得傳統的單次拍攝相位測量方法難以擷取相位。是以，本研究旨在利用深度學習技術解決這些問題，提出一種基于深度學習的單次拍攝相位測量偏折測量方法，以實作對複雜自由曲面的三維測量。
2、研究内容
一種基于深度學習的單次拍攝相位測量偏折測量法用于複雜自由曲面的三維測量。文章介紹了目前單次拍攝偏折測量法存在的兩個主要問題：低反射率鏡面表面的測量和複雜曲面的測量。為了解決這些問題，研究團隊采用了低頻率的複合光栅圖案來提高低反射率表面的光栅可見度，并利用深度學習方法處理複雜曲面的相位測量。通過深度學習網絡的訓練和優化，可以實作單次拍攝下複雜曲面的三維測量和缺陷檢測。
3、方法
利用深度學習網絡模型DYnet++從單個複合圖案中擷取相位資訊。為了訓練深度學習模型，作者使用了一個具有九個緻動器的可變形鏡來生成各種表面形狀的大量資料。通過将測量結果與16步相移法的結果進行比較，驗證了所提出的基于深度學習的單次拍攝偏轉測量方法的可行性。該方法的優點是可以在單次拍攝中擷取複雜表面的相位資訊，避免了傳統相移法需要多張圖像的缺點。深度學習網絡模型能夠學習并了解複雜的圖案特征，進而準确地提取相位資訊。這種方法在工業環境中具有廣泛的應用前景，可以提高測量效率和準确性。需要注意的是，該方法目前還處于研究階段，可能還存在一些局限性和改進空間。但是，基于深度學習的單次拍攝偏轉測量方法在解決複雜表面測量問題方面具有很大的潛力，并且在實際應用中可能會得到更多的發展和改進。
3.1、偏轉法表面測量原理
偏轉法表面測量是一種用于測量光滑自由曲面的斜率測量技術。它使用螢幕（LCD螢幕）來顯示調制的正弦條紋圖案，該圖案投射到被測曲面上，然後由相機接收反射的條紋圖案。通過這種方式，我們可以獲得曲面的斜率進行分析。如果我們可以獲得兩個正交的曲面斜率，就可以通過積分來重建曲面的形狀和尺寸。對于缺陷檢測，不僅需要檢測曲面上的缺陷，還需要确定缺陷的形狀和尺寸。是以，我們需要将兩個正交的條紋圖案（稱為和圖案）投射到被測曲面上，以獲得曲面的斜率進行積分。傳統上，使用相移方法來擷取和方向上的曲面相位，因為它具有像素級的相位恢複和高分辨率。捕獲的條紋圖案可以通過以下數學表達式表示：
其中，和分别是捕獲的和條紋圖案的光強度；是相機的像素坐标；和是背景，和 是條紋調制；和是和方向上的相位；是相移數（），是相移的總數。通過這些捕獲的條紋圖案，可以通過以下公式恢複和方向上的相位：
其中，和是和的包裹相位。它們需要使用空間相位展開算法進行展開。是相移值。通常情況下，如果相移步數N越大，恢複的相位精度越高。
3.2、DYnet++
DYnet++是一種基于深度學習的單次拍攝相位測量偏折測量方法，用于測量低能見度和複雜鏡面表面。DYnet++深度學習網絡，用于從單個低頻複合條紋圖案中擷取相位進行表面測量。DYnet++網絡接受一個輸入，即捕獲的低頻複合條紋圖案，并輸出每個解碼器路徑中的兩個分子和兩個分母項。通過訓練過程，每個解碼器路徑将具有預測分子和分母的最佳參數。然後，通過這些量的反正切計算出x和y的包裹相位。DYnet++網絡的結構受到Ynet和Unet++的啟發。我們試圖結合這些網絡的優點來進行相位檢測。DYnet++網絡在Unet++的基礎上添加了一個解碼器路徑，使其對稱化。
3.3、DM
在這篇論文中，作者使用了可變形鏡面（DM）來生成訓練資料集。DM是一個可以通過施加力來改變形狀的金屬闆。通過改變DM的形狀，可以改變捕獲到的條紋圖案。使用DM生成訓練資料的優點是可以快速生成大量的訓練資料，隻需改變鏡面的形狀即可。作者首先在液晶顯示屏上顯示複合圖案，然後通過相機捕獲反射的圖案作為訓練資料的輸入。然後，作者使用相位移方法在x和y方向上顯示16步的相位移圖像，作為訓練資料的真值。對于每個輸入複合圖案，相應的輸出将是，，和。通過改變的形狀，可以生成不同的訓練資料。作者通過改變每個緻動器的位置1000次來随機改變的形狀，進而生成了總共4000個訓練圖像和真值。使用這種方法生成訓練資料，網絡可以學習如何從單個複合圖案中預測正确的分子和分母。
4、實驗結果
使用TensorFlow和Keras 2.8.0深度學習庫實作了DYnet++。訓練過程在一台配備Intel Core i9-12900K CPU、64 GB RAM和Geforce RTX-3090 GPU（NVIDIA）的台式計算機上進行。他們使用了不同形狀的變形鏡（DM）生成了訓練資料集，總共生成了4000個訓練圖像和對應的地面真值。訓練資料集的大小為320×240像素。他們使用了均方誤差作為損失函數，并使用平均絕對誤差作為評估名額。訓練總共耗時約12小時。
在測試中，他們使用了與訓練和驗證資料不同的變形鏡生成的複合圖案作為輸入。他們展示了一些測試結果，并與地面真值進行了比較。結果顯示，DYnet++方法在形狀重建方面與傳統的16步相移方法相比具有相似的性能，而16步相移方法需要32張相移圖像。此外，他們還進行了低可見度表面的測量和缺陷檢測實驗，結果表明DYnet++可以從單次複合圖案中檢測出小的缺陷。總的來說，DYnet++方法通過深度學習實作了單次拍攝相位測量偏折測量，具有較好的性能和應用潛力。
5、總結
我們的研究提出了一種基于深度學習的單次偏轉測量方法DYnet++，能夠測量和檢測複雜自由曲面。這種方法具有廣泛的适用性和高效的性能，可以在實時或高速環境下進行複雜曲面的測量和檢測。
3D視覺交流群
大家好，群裡會第一時間釋出3D計算機視覺方向的最前沿論文解讀和交流分享，主要方向有：
視覺SLAM、雷射SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、語義SLAM、濾波算法、多傳感器融合、多傳感器标定、MSCKF、動态SLAM、MOT SLAM、NeRF-SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相機、GPS/RTK/UWB/IMU/碼盤/TOF（iToF、dToF）、雷射雷達、氣壓計、毫米波雷達、RGB-D相機、超音波等、機器人導航、相機标定、立體比對、三維點雲、結構光(面/線/散斑)、機械臂抓取（2D/3D）、2D缺陷檢測、3D缺陷檢測、6D位姿估計、相位偏折術、Halcon、光場重建、攝影測量、陣列相機、偏振三維測量、光度立體視覺、雷射雷達、NeRF、多視圖幾何、OpenMVS、MVSNet、colmap、紋理貼圖、深度估計、Transformer、毫米波/雷射雷達/視覺攝像頭傳感器、多傳感器标定、多傳感器融合、自動駕駛綜合群等、目标檢測、3D目标檢測、路徑規劃、軌迹預測、3D點雲、3D點雲分割、模型部署、車道線檢測、Occupancy、目标跟蹤、四旋翼模組化、無人機飛控、求職、硬體選型、視覺産品落地、最新論文、3D視覺最新産品等綜合交流群。
添加v: dddvision，備注：研究方向+學校/公司+昵稱(如3D點雲+清華+小草莓), 小助理會拉你入群。