文章：SuperLine3D: Self-supervised Line Segmentation and Description for LiDAR Point Cloud
作者：Xiangrui Zhao,sheng Yang , Tianxin Huang, Jun Chen, Teng Ma, Mingyang Li , and Yong Liu
編譯：點雲PCL
代碼：https://github.com/zxrzju/SuperLine3D.git
歡迎各位加入免費知識星球，擷取PDF論文，歡迎轉發朋友圈。文章僅做學術分享，如有侵權聯系删文。未經部落客同意請勿擅自轉載。
摘要
電線杆和建築物邊緣是城市道路上經常可見的标志物，為各種計算機視覺任務提供可靠的提示，為了重複提取它們作為特征并在離散的雷射雷達幀之間進行配準，我們提出了第一個基于學習的雷射雷達點雲中三維線的特征分割和描述子模型，為了訓練我們的模型，而無需耗時和繁瑣的資料标記過程，我們首先為目标線的基本外觀生成合成基元，并建構疊代線自動标記過程，以逐漸細化真實雷射雷達掃描資料上的線段标簽，我們的分割模型可以在任意尺度擾動下提取線段，并且使用共享的EdgeConv編碼器層來聯合訓練分割和描述子。基于該模型可以在沒有初始轉換提示的情況下，為點雲配準建構高效可用的全局配準子產品，實驗表明，提出的基于線的配準方法與最先進的基于點的方法相比具有高度競争力。開源的代碼在https://github.com/zxrzju/SuperLine3D.git .
主要貢獻
本文提出了一種自監督學習方法，用于雷射雷達掃描資料的線段分割和描述子提取（圖1）。按照SuperPoint的訓練過程，為了解決公共可用訓練資料的不足的問題，我們選擇先建構有限的合成資料，然後對實際掃描資料執行自動标記，來訓練我們的線段提取模型。通過共享點雲編碼層，并使用兩個單獨的分支進行解碼和應用程式，能夠在生成的資料上聯合訓練兩個任務。我們的工作的關鍵貢獻在于，這種用于訓練和使用用于掃描資料配準目的的線段特征的方案，其中包括：
（1）據我們所知，我們提出了第一個基于學習的雷射雷達掃描資料線段分割和描述子計算，為全局配準提出了适用的特征類别我們提出了一種點雲的線段标記方法，
（2）該方法可以将從合成資料中學習的模型遷移到真實的雷射雷達掃描中進行自動标記。
（3）我們探索了點雲特征的尺度不變性，并通過消除Sim(3)變換中的尺度因子，為改進基于學習的任務在尺度擾動下的泛化提供了一種可行的思路。
大量實驗結果表明，我們的基于線的配準在大角度擾動下可以保持較高的成功率和準确性，并且在一個實際掃描資料集上訓練的模型對其他城市場景資料集具有高度适應性。
圖1.架構概述。a） ：在合成資料上訓練尺度不變分割，并在多次幾何自适應疊代後獲得精确的線段标簽。b） ：在标記的雷射雷達掃描資料上同時訓練分割和描述子，其中紅色、紫色和綠色層分别代表編碼器、分割和描述子
主要内容
A. 線分割模型
合成資料生成：如上文提到有兩種可靠的線段可供檢測：1）平面之間的交點，以及2）極點。是以，我們選擇使用圖2（a）所示的以下兩個網格基元分别模拟它們的局部外觀。這兩個網格模型首先均勻地采樣到4000個點，如圖2（b），每個點增加5%的相對3自由度位置擾動。然後，為了模拟附近可能的背景點，我們随機裁剪了40個基本基元，每個基元包含來自真實掃描的1000個點，并将它們放在一起組成最終的合成資料，總共生成了5000個合成點雲，每個點雲有5000個點。
圖2.合成資料生成步驟，通過采樣原始網格模型并将實際掃描散射點增強為噪聲來生成合成資料
尺度不變的直線分割：将線段的檢測視為一個點雲分割問題，主要挑戰是原始縮放問題：在真實的雷射雷達幀中，點雲的密度随着掃描距離而降低，當目标特征遠離傳感器時，體素網格下采樣無法完全歸一化密度，此外，我們的合成資料生成也沒有考慮線段的比例（如圖2（e）所示）。如果不處理這樣的問題，當訓練和測試資料在不同的尺度上時，模型将不會産生合理的預測，為了解決這個問題，我們的網絡通過消除Sim(3)變換的比例因子s并使用相對距離獲得比例不變性，如下所示：
在等式(1)中，我們搜尋點p的k=20個最近點{p1，p2，…，pk}，并計算比例不變的局部特征f作為曼哈頓距離與p與其鄰居之間的歐幾裡德距離的比率,這種特征定義的折衷是f不能反映原始點在歐幾裡德空間中的位置，是以變換具有資訊損失。
模型架構：這裡選擇DGCNN作為主架構，因為它直接編碼點雲及其最近鄰點，而無需複雜操作。等式（2）顯示了其稱為EdgeConv的局部特征編碼函數，其中x_j是第j個特征，S_xi是特征空間S中xj的鄰居，h是深度學習模型。
自動線段标記。沒有可用的雷射雷達掃描資料标記線段資料集，對點雲執行手動标記是很困難，是以，我們建構了一個自動線标記工作流程（如圖3）。
圖3.自動線标記流程，我們使用幾何自适應和線性拟合來減少網絡預測噪聲，并通過疊代訓練提高實際雷射雷達掃描資料的模型精度
受SuperPoint中單應性自适應的啟發，我們對雷射雷達掃描點雲進行幾何自适應，首先，我們純粹基于合成資料訓練尺度不變分割模型，并在XOY和360中應用均勻分布為20m的2D變換偏航到雷射雷達掃描點雲。然後使用訓練的模型預測擾動資料上的标簽，聚合所有擾動的掃描标簽，并将預測的80%以上屬于直線的點作為候選點。為了将二進制點聚類成直線，我們使用區域增長算法。點之間的連通性通過0.5m KD樹半徑搜尋定義，使用标記點作為種子，生長到附近的标記點，并拟合直線，一旦提取了這些線段，我們将繼續在獲得的标記雷射雷達掃描資料上細化分割模型，我們重複幾何自适應變換3次，在KITTI裡程計資料集上生成12989個自動标記的雷射雷達點雲幀。
B. 點雲線段的分割和描述子聯合訓練
線描述子的定義：與僅需要線段的兩個端點的幾何定義不同，每條線的描述子應通過其所有所屬點傳達局部外觀，因為觀察到的端點可能由于可能的遮擋而在幀之間變化，是以，我們将描述子定義為其所有所屬點的平均值。
網絡架構：我們的網絡結構（如圖4）由堆疊的三個EdgeConv層組成，用于特征編碼，兩個解碼器分别用于線段的分割和描述子，每個EdgeConv層輸出一個N×64張量，用于MAXPooling層之後的3層分割和描述子，使用ReLU進行激活，分割在卷積後将特征向量轉換為大小為N×2的張量（N表示輸入點的數量），然後通過Softmax層獲得每個點的布爾标簽，以預測其是否屬于一條線。描述子輸出張量大小為N×d，然後執行L2範數以獲得d維描述子。
損失函數：我們的分割損失Lseg是标準的交叉熵損失，詳細的說首先使用線段标簽獲得每條線段的平均描述符µ，然後使用每條線的Lsame将點描述符拉向µ，Ldiff被提出用于使不同線的描述子彼此排斥，此外，對于點雲對計算比對損耗Lmatch和非比對線之間的損耗Lmismatch，每個術語可以寫成的公式如下：
基于線的配準：我們的網絡為每個點雲輸出标簽和描述子，首先提取線段，然後執行描述子比對以獲得線段的對應，比對描述子的門檻值設定為0.1，通過最小化所有線比對成本ξ的點到線距離，優化用于将源點雲S配準到目标點雲T的變換T∈ N：
實驗與結果
網絡訓練的資料集：從生成的合成資料開始，首先使用這些合成點雲來訓練我們的線段分割網絡，然後，為了使用自動标記方法生成足夠和合格的真實世界标記的點雲資料，一共獲得了12989個雷射雷達幀資料，并疊代訓練了100個epochs以細化這些自動标記結果，最後，我們用120個時間段訓練我們的整個線分割和描述子網絡，以獲得最終适用于真實世界掃描資料的模型。我們使用包括來自KITTI裡程計資料集的序列00-07的掃描，最後兩個序列06-07用于驗證集，其餘的00-05用于訓練集，以訓練我們的網絡。對于每個雷射雷達幀，我們使用0.25m體素大小對點雲進行體素化，采樣20000點用于評估，15000點用于訓練，因為EdgeConv中的kNN是O（N2）空間複雜度，并且在訓練過程中消耗大量記憶體，我們使用Adam優化器在Tensorflow中實作我們的網絡，學習率被設定為0.001，并且每15個周期減少50%，整個網絡在8個NVIDIA RTX 3090 GPU上訓練。
結果和讨論：表1顯示了配準的性能，在随機旋轉擾動下，ICP的召回率僅為11.3%，基于FPFH特征的FGR和RANSAC方法具有較高的召回率，但誤差較大，基于學習的端到端方法HRegNet和DGR在處理大型擾動場景時，召回率和準确性也會下降，PointDSC依賴于特征模型，并且特征不具有完全的旋轉不變性，是以其性能也會惡化。
圖5.KITTI資料集上具有不同RRE和RTE門檻值的配準召回，在不同标準下，我們基于線的方法（藍色）的配準成功率接近于基于SOTA點的方法D3Feat（橙色
圖5示出了具有不同錯誤門檻值的配準召回，SpinNet和D3Feat具有更好的性能，召回率超過90%，基于線段的配準實作了與點雲的特征配準相當的性能，與D3Feat相比，具有相似的平均翻譯錯誤和1.22%的召回率。圖7顯示了KITTI測試序列的可視化結果，提出的方法成功地配準了任意旋轉擾動下的點雲。
圖7.KITTI測試資料集的定性可視化。頂部：兩個雷射雷達幀之間的線段關聯性，底部：兩個幀的配準結果。
基于線段的配準不依賴RANSAC來過濾錯誤比對：為了在變換估計期間執行離群值移除，在計算初始對齊後的線對應的距離，以移除平均距離大于1m的線對并重新計算。
圖6.不同RANSAC疊代的配準性能，在點特征對應中存在許多不比對，這在疊代次數較少時會導緻不穩定的結果
圖6示出了在不同RANSAC疊代下點雲配準的性能，圖中的x坐标是對數坐标。我們的方法不使用RANSAC進行異常值剔除，當與其他需要RANSAC後處理的方法進行比較時，使用藍色虛線作為參考，y坐标附近的星表示原始結果，x坐标為的星表示異常值去除後的結果。在最大疊代次數超過1000次之前，D3Feat和SpinNet都無法在沒有RANSAC的情況下獲得精确的變換。
線分割評價 ：為了評估基礎分割模型的尺度不變性，我們在合成資料集上訓練了PointNet、PointNet++和vanilla DGCNN，訓練集包括在[0,1]内歸一化的4000個合成點雲，并使用從0.1到3.0的點雲測試訓練模型。
圖8.不同尺度擾動下網絡預測的精度和mIOU，在尺度不變方法在任意尺度下是穩定的，但比原始尺度下的vanilla DGCNN差一點
圖8顯示了網絡預測的準确性和mIOU，當尺度變化時，沒有尺度自适應的方法性能下降。vanilla DGCNN在小尺度擾動（0.8到1.6）下獲得最佳精度和mIOU，而我們的尺度不變方法在任意尺度下是穩定的。可以發現，在确定尺度時，使用尺度不變方法會降低精度，是以僅将其用于合成資料訓練。在分割和描述子的聯合訓練中，我們使用vanilla DGCNN代替。
圖9 提出的方法分割了大多數杆和建築邊緣
圖9顯示了與我們發現的唯一開源3D線檢測方法相比，線段分割的定性可視化，提出的方法分割了大部分線段，而開源的方法提取了地面上的雷射雷達掃描線，無法檢測到極點。
表2顯示了點雲配準結果，在unseen資料集上所有方法都顯示召回率下降，D3feat的性能最好，而提出的方法的平均翻譯誤差最小，圖10顯示了測試資料的定性可視化，這個序列中有更多的極點，這有利于基于線段的配準。
圖10.阿波羅SourthBay資料集的定性可視化，SanJoseDowntown資料集，大多數直線對應線段有着穩定的極點，這有助于大幅度減少平移誤差
總結
本文提出了第一種基于學習的雷射雷達掃描點雲線特征分割和描述子計算的方法，該方法在點雲配準中與基于點特征的方法具有很強的競争力，未來，将探索深度學習線段功能在SLAM問題上的使用，如建圖、地圖壓縮和重定位，并還将優化網絡結構，減少訓練資源的消耗。