0. 這篇文章幹了啥？
車道檢測是任何自動駕駛系統中的基本任務，需要推理标記車道的形狀和位置，對于路徑規劃、車輛轉向和自動系統的車道保持非常重要。它在計算機視覺領域得到了廣泛研究。給定道路場景的圖像，車道檢測的目标是以盡可能高的準确度估計車道标記的位置。現有的車道檢測方法側重于開發具有判别性的特征表示，以分類每個像素是否表示車道并将其配置設定給其相應的執行個體，或者顯式地從預定義的提議中學習并執行檢測任務，兩者均以監督的方式進行。
然而，車道檢測仍然面臨一些挑戰，包括與資料可用性和跨域泛化相關的問題。現實世界的駕駛場景經常由于不同的攝像頭傳感器、道路類型、照明變化和背景雜亂而發生劇烈變化。例如，在美國西海岸收集的資料上訓練的車道檢測器可能會在倫敦皮卡迪利廣場檢測車道時出現問題。這嚴重限制了它們的可擴充性。一個天真的解決方案可能會解決這個問題，但會需要更多關于不同類型道路的資料，并且即使在遮擋場景中也要有準确的注釋，這不可避免地會增加注釋成本。
在這篇文章中，作者研究了一種自監督學習政策，稱為 LaneCorrect，來解決上述問題。傳統的無監督學習方法嘗試通過使用手工設計的特征和曲線拟合（例如霍夫變換和B樣條拟合）來檢測車道，但效果不佳。作者建議利用大規模雷射雷達點雲以無監督的方式檢測嘈雜的車道标記。路标塗料的特殊材料總是設計成反射足夠的車輛燈光，即使在光線不足的情況下也能看到。在雷射雷達點雲中，裸露的路面和車道标記之間還顯示出明顯的反射差異。利用車道周圍的這種反射率失真，可以通過使用DBSCAN和RANSAC從3D點中提取候選車道執行個體，然後通過投影3D點來預測2D圖像平面上的車道。可以使用這種嘈雜的車道預測作為僞标簽來訓練一個天真的車道檢測器。然而，嘈雜的标簽可能會影響學習到的車道檢測器的品質。是以，作者開發了一種自監督算法，利用車道線的幾何對稱性并減少嘈雜标簽的擾動。鑒于低密度分離假設背後的幾何一緻性，即相同叢集的資料點可能是相同決策邊界的，使用RGB圖像和其嘈雜标簽線索訓練了一個自監督車道校正模型（LaneCorrect），産生一個沒有任何地面真實注釋知識的校正标簽。由于歸納幾何對稱性是車道注釋的固有特性，同一車道标簽的多個擾動可以看作是應用于同一無噪聲注釋的多個加性高斯噪聲。
具體來說，作者用兩種不同的增強擾動擾動原始僞标簽，并使網絡能夠訓練和運作為具有一緻性損失的校正。兩個預測都由網絡校正，是以一個預測可以被用作另一個預測的标簽，反之亦然。為了避免崩潰到微不足道的解決方案，還添加了重建損失。此外，車道掩碼池化後跟随對比損失在特征表示中增加了執行個體相似性學習。通過自監督預訓練模型，我們将其精煉到訓練學生網絡上，該網絡專用于在任意目标車道檢測資料集上預測車道，而不使用任何注釋。注意，在推斷階段是不依賴雷射雷達的，LaneCorrect模型的嘈雜标簽輸入來自車道檢測器的預測。
下面一起來閱讀一下這項工作~
标題：LaneCorrect: Self-supervised Lane Detection
作者：Ming Nie, Xinyue Cai, Hang Xu, Li Zhang
機構：複旦大學、華為諾亞方舟
原文連結：https://arxiv.org/abs/2404.14671
車道檢測已經發展成高度功能的自動駕駛系統，能夠了解駕駛場景，甚至在複雜環境下也能運作。本文緻力于開發一種通用的計算機視覺系統，能夠在不使用任何注釋的情況下檢測車道。我們做出了以下貢獻：(i) 我們說明了如何通過利用雷射雷達點雲幀上的車道獨特強度來執行無監督的3D車道分割，然後通過投影3D點在2D平面上獲得嘈雜的車道标簽；(ii) 我們提出了一種新穎的自監督訓練方案，名為LaneCorrect，通過從對抗性增強學習幾何一緻性和執行個體感覺來自動校正車道标簽；(iii) 使用自監督預訓練模型，我們進行蒸餾以訓練一個學生網絡，用于任意目标車道（例如，TuSimple）檢測，而無需任何人工标簽；(iv) 我們對我們的自監督方法在四個主要的車道檢測基準上進行了徹底評估（包括TuSimple、CULane、CurveLanes和LLAMAS），并展示了與現有的監督對應方法相比的出色性能，同時在減輕域差異方面表現出更有效的結果，即在CULane上進行訓練，然後在TuSimple上進行測試。
無監督車道檢測方法與有監督替代方案的比較。(a) 是有監督方法，它依賴于人類注釋作為監督。(b) 是LaneCorrect，它利用點雲首先生成嘈雜的車道線索，并以自監督方式訓練車道校正網絡。
上面一行是在TuSimple上的性能，下面一行是在LLAMAS上的性能。其餘中間行是CULane的定性結果。對于每一行，從左到右分别是:輸入圖像、地面實況、監督對應的結果和LaneCorrect。
（i）展示了雷射雷達視圖可以用作車道檢測的僞标簽，并提出了一種無監督的3D車道分割方法來預測這種嘈雜的僞标簽；
（ii）通過從不同的增強中學習一緻性和執行個體感覺，制定了嘈雜車道校正模型的新型自監督訓練方案；
（iii）通過自監督預訓練模型，将其精煉到訓練學生網絡上，該網絡專用于在任意目标資料集上預測車道，而不使用任何注釋；
（iv）對四個主要車道檢測基準進行了大量實驗，表明模型在與經過預訓練的有監督競争對手（在ImageNet上預訓練）相比表現相當，并且在緩解領域差距方面表現優越，即在CULane上進行訓練并在TuSimple上測試。
LaneCorrect政策的概覽。它首先将同步的2D圖像和3D LiDAR幀作為輸入。通過提出的無監督3D車道分割算法，從3D點雲中提取候選車道執行個體，然後将其投影到2D圖像平面上作為僞标簽。接下來，考慮到上述方法生成的僞标簽具有特定的噪聲（例如，投影誤差），訓練了一個自監督車道校正網絡（SLC）來減少僞标簽的噪聲。最後，提取SLC模型來訓練目标域上的學生車道檢測器，執行車道檢測任務而無需任何注釋。最佳觀看顔色和車道執行個體号。LaneCorrect由兩個協作網絡組成，即線上SLC（通過梯度下降更新）和目标SLC（通過移動平均更新），以一緻地糾正嘈雜的注釋。在訓練過程中，僞車道注釋的兩個不同增強視圖與圖像連接配接，并輸入線上和目标分支，其中輸出被收集用于一緻性正則化和執行個體相似性學習。在一緻性正則化中，兩個分支的預測車道被限制為映射到唯一無噪聲的車道位置。在執行個體相似性學習中，采用多目标對比學習來確定優越的車道表示能力。在測試過程中，僅使用線上SLC來預測精煉的車道。
僞标簽精煉和蒸餾的管道。為了使SLC能夠端到端推理并更好地對齊下遊資料集，提出了一種以蒸餾形式的僞标簽精煉方法。
在大規模Waymo Open資料集上預訓練LaneCorrect，它包含同步的LiDAR幀和2D圖像。為了評估我LaneCorrect并進行公平比較，在目标域上對SLC網絡進行蒸餾，以訓練一個可以直接在測試集上評估的學生車道檢測器。在自監督預訓練SLC模型的幫助下，域間差距得到了緩解。注意，在推理階段不引入LiDAR資料，也不包括ImageNet預訓練模型在LaneCorrect中。隻有監督對應項使用在ImageNet上預訓練的骨幹網絡進行比較。
在TuSimple基準上，在表3中報告了準确度和F1分數。正如所示，強監督方法與LaneCorrect之間的差距相當小。特别是，LaneCorrect在F1分數方面達到了92.91%的顯著結果，而監督對應項在F1分數方面達到了95.07%。比較結果表明了LaneCorrect的效率。
在CULane上的結果可以在表4中看到。LaneCorrect總體上實作了55.7%的F1分數。LaneCorrect模型在CULane（在北京收集）上遇到了比在TuSimple（在美國收集，與Waymo類似）更為明顯的域差距。盡管自監督源域與目标CULane資料集之間存在顯著的域差距，但帶有SLC網絡的無監督方法相對于其強監督對應項，沒有觸及任何真實情況，卻達到了合理的F1分數。比較結果還表明，SLC網絡顯著改善了LaneCorrect的無監督方法，并能有效地減輕域差距。
在LLAMAS上的性能顯示在表5中，LaneCorrect僅使用LLAMAS訓練圖像進行訓練，并在驗證集和官方測試集上進行評估。正如結果所示，LaneCorrect在測試集上實作了89.75%的F1分數，在驗證集上實作了91.29%的F1分數。值得注意的是，我們的無監督車道檢測架構在LLAMAS驗證集上優于監督方法。主要原因之一是LLAMAS資料集是由高分辨率地圖和其投影自動注釋的無監督資料集。由于不确定性誤差和投影偏差，有時生成的注釋是不正确的，這會損害車道檢測器的性能。
從可視化結果中，可以看到無監督方法LaneCorrect能夠在錯誤标記的情況下表現良好。CurveLanes的表現如表6所示。正如結果所示，LaneCorrect在F1分數上實作了60.39%的合理結果，與監督方法相比。
作者展示了 LiDAR 視圖對車道執行個體的利用，可以作為車道檢測任務的僞标簽。提出了一種新穎的自監督訓練方案，用于自動糾正帶有一緻性和對比度表示學習的嘈雜僞注釋。為了進行車道檢測，将預訓練的校正模型精煉到任意目标車道基準上的學生車道檢測器上，而不觸及其地面真實值。LaneCorrect在四個主要基準上達到了與現有監督對應模型相媲美的性能，并且在域自适應設定上表現出了優越的性能。
對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~
本文僅做學術分享，如有侵權，請聯系删文。
3D視覺工坊交流群
目前我們已經建立了3D視覺方向多個社群，包括2D計算機視覺、大模型、工業3D視覺、SLAM、自動駕駛、三維重建、無人機等方向，細分群包括：
2D計算機視覺：圖像分類/分割、目标/檢測、醫學影像、GAN、OCR、2D缺陷檢測、遙感測繪、超分辨率、人臉檢測、行為識别、模型量化剪枝、遷移學習、人體姿态估計等
大模型：NLP、CV、ASR、生成對抗大模型、強化學習大模型、對話大模型等
工業3D視覺：相機标定、立體比對、三維點雲、結構光、機械臂抓取、缺陷檢測、6D位姿估計、相位偏折術、Halcon、攝影測量、陣列相機、光度立體視覺等。
SLAM：視覺SLAM、雷射SLAM、語義SLAM、濾波算法、多傳感器融合、多傳感器标定、動态SLAM、MOT SLAM、NeRF SLAM、機器人導航等。
自動駕駛：深度估計、Transformer、毫米波|雷射雷達|視覺攝像頭傳感器、多傳感器标定、多傳感器融合、自動駕駛綜合群等、3D目标檢測、路徑規劃、軌迹預測、3D點雲分割、模型部署、車道線檢測、Occupancy、目标跟蹤等。
三維重建：3DGS、NeRF、多視圖幾何、OpenMVS、MVSNet、colmap、紋理貼圖等
無人機：四旋翼模組化、無人機飛控等
除了這些，還有求職、硬體選型、視覺産品落地、最新論文、3D視覺最新産品、3D視覺行業新聞等交流群
添加小助理: dddvision，備注：研究方向+學校/公司+昵稱（如3D點雲+清華+小草莓）, 拉你入群。
3D視覺工坊知識星球
3DGS、NeRF、結構光、相位偏折術、機械臂抓取、點雲實戰、Open3D、缺陷檢測、BEV感覺、Occupancy、Transformer、模型部署、3D目标檢測、深度估計、多傳感器标定、規劃與控制、無人機仿真、三維視覺C++、三維視覺python、dToF、相機标定、ROS2、機器人控制規劃、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三維重建、colmap、線面結構光、硬體結構光掃描器，無人機等。