原創 | 文 BFT機器人
01
背景
在非剛性點雲比對領域，将兩個或多個形狀的點雲對應起來是一個具有挑戰性的任務。在這個問題中，形狀的變形可能會導緻點雲之間的幾何形狀和拓撲結構的差異。是以，點雲比對方法需要能夠識别和建立這些非剛性變形下的對應關系。
以往的點雲比對方法通常依賴于手工設計的特征描述符或采用疊代優化的方法。然而，這些方法往往對資料的特征表示和模型的選擇非常敏感，并且需要大量的标記資料或結構幾何資訊來進行監督。此外，許多方法還依賴于離線基礎建構的步驟，這增加了算法的複雜性和計算成本。
為了解決這些問題，論文提出了一種名為神經内在嵌入（Neural Intrinsic Embedding，簡稱NIE）的方法來進行非剛性點雲比對。NIE的目标是通過學習将點雲的頂點嵌入到高維空間中，同時保留形狀的内在結構。為了實作這一目标，NIE通過訓練來逼近點雲表面上對應點之間的測地距離。通過這種方式，NIE能夠學習到點雲之間的非剛性變形，并将其編碼為高維嵌入空間中的向量表示。。
通過在實驗中與現有的點雲比對方法進行比較，論文展示了NIE的有效性。實驗結果表明，NIE在不同資料集和場景下都能取得與或優于現有方法的性能，同時不需要更多的監督資訊或結構幾何輸入。這證明了NIE在非剛性點雲比對中的潛力和優越性。
圖1 點雲分割成具有内在幾何感覺的聚類
02
算法介紹
這篇論文的研究背景主要涉及到功能映射（functional maps）和線性不變嵌入（linear invariant embedding）等相關概念。功能映射是一種點對點映射的替代表示方法，它主要基于拉普拉斯-貝爾特拉米算子的特征基。給定一對形狀S1和S2，首先計算它們的前k個特征函數，并将它們存儲為矩陣Φi ∈ Rni×k，其中i = 1, 2 。線性不變嵌入（LIE）是另一種與我們的架構密切相關的方法。
本論文提出的方法與LIE不同之處在于：
（1）對形狀之間的對應關系沒有監督；
（2）在幾何上提供了更多的資訊；
（3）與LIE不同，即使在小規模資料集上訓練也能很好地推廣。
論文中提出的算法稱為神經内在嵌入（Neural Intrinsic Embedding，簡稱NIE）。它旨在解決在可變形形狀的點雲之間建立對應關系的挑戰。NIE旨在将點雲的每個頂點嵌入到高維空間中，同時保持底層對象的内在結構。通過訓練NIE來逼近表面上對應點之間的測地距離，實作了這種嵌入。
基于NIE，該論文進一步提出了一種非剛性點雲配準的弱監督學習架構。與以前需要大量和敏感的離線基礎建構的方法不同，NIE不依賴這種過程。所提出的架構不需要基于地面真實對應标簽進行監督。通過實驗證明了該架構的有效性，結果顯示與需要更多監督和/或結構幾何輸入的最先進基線方法相比，性能相當或更好。
03
論文的創新點
1. 提出了一種新的非剛性點雲比對方法，稱為神經内在嵌入（Neural Intrinsic Embedding，NIE）。與現有的方法相比，NIE能夠更好地保留點雲的内在結構，進而實作更準确的比對。
2. 提出了一種新的點雲嵌入方法，稱為點雲自适應嵌入（Point Cloud Adaptive Embedding，PCAE）。PCAE能夠自适應地學習點雲的嵌入表示，進而更好地捕捉點雲的幾何特征。
3. 提出了一種新的點雲對齊方法，稱為點雲對齊網絡（Point Cloud Alignment Network，PCAN）。PCAN能夠将兩個點雲嵌入到同一空間中，并通過最小化它們之間的距離來實作點雲對齊。
04
實驗
1.評估了學習到的嵌入表示，并提供了消融研究來驗證他們提出的設計。他們通過比較不同的實驗設定和參數選擇來分析嵌入表示的性能。
2.展示了他們提出的NIM網絡的比對結果，并将其與幾種競争性的基線方法進行了比較。他們使用平均測地誤差來評估比對結果，這些結果是在形狀歸一化到機關面積的情況下僅使用點雲進行推斷時得出的。
3.展示了他們的NIE和NIM網絡對于噪聲和各種局部性等僞影的魯棒性。他們通過引入不同類型的僞影來評估網絡的魯棒性，并分析其對比對結果的影響。
在實驗部分，作者提供了使用的資料集的詳細資訊，包括FAUST資料集的重新網格化版本和包含100個人體形狀的訓練和測試集的劃分。
表1 不同方法在基礎資料集上的比較結果
表1提供了不同方法在基礎資料集上的比較結果，包括OPT（×100）和相對測地誤差（x100）。該表格顯示了不同方法在這兩個名額上的性能。其中，"Ours"指的是該論文提出的方法，"MDS"是多元縮放方法，"LBO basis"和"PCD LBO basis"是基于LBO的方法，"LIE"是基于正交限制的方法。從表格中可以看出，該論文提出的方法在OPT和相對測地誤差方面都表現最佳。
表2 關于訓練損失的消融研究結果
表2提供了關于訓練損失的消融研究結果，包括OPT（×100）、相對測地誤差（x100）和最終比對誤差（x100）。該表格顯示了在不同訓練損失項和修改後的DGCNN上進行的實驗的結果。以下是表格中的結果：
- 使用僅相對測地損失時，雖然可以獲得最低的誤差，但NIE存在秩缺失問題，導緻最差的OPT得分。
- 使用相對測地損失和時，可以獲得更好的OPT和相對測地誤差。
- 使用相對測地損失、和時，可以進一步改善OPT和相對測地誤差。
- 使用包含樣本的完整模型時，可以獲得最佳的OPT、相對測地誤差和最終比對誤差。
這些結果表明，在訓練過程中使用多個損失項和修改後的DGCNN可以顯著改善比對結果的品質。
05
結論
提出的神經内在嵌入方法可以有效地解決非剛性點雲比對問題，并且在多個資料集上取得了優于其他方法的結果。該方法可以在不需要額外的先驗知識或手動标記的情況下，從點雲中提取内在的幾何資訊，并将其用于點雲比對和分割任務。此外，該方法還具有良好的魯棒性，可以處理噪聲和部分點雲等常見的資料僞影。
論文标題：
Neural Intrinsic Embedding for Non-rigid Point Cloud Matching
更多精彩内容請關注公衆号：BFT機器人
(公衆号背景回複“優惠活動”檢視BFT機器人年終钜惠福利内容)
本文為原創文章，版權歸BFT機器人所有，如需轉載請與我們聯系。若您對該文章内容有任何疑問，請與我們聯系，将及時回應。