作者丨StrongerTang
分享前段時間看的一篇車道線檢測方向的新工作，也是中了最近公開結果的2022CVPR，是上海交大、華東師大、香港城市大學和商湯科技合作完成的，代碼已經開源。
論文連結: https://arxiv.org/abs/2203.02431
代碼連結: https://github.com/voldemortX/pytorch-auto-drive
簡介
Lane detection strategies
如上圖所示，基于深度學習的車道線檢測方法可分為三大類：基于分割的方案（圖中綠色示例）、基于點檢測的方案（圖中藍色示例）和基于多項式曲線的方案（圖中黃色示例）。
其中基于分割和點檢測的方案一般效果性能更好，但基于分割方案和基于點檢測方案的表征是局部的、間接的，且在多項式曲線中的抽象因子(a, b, c, d)難于優化。為此，文章提出了基于三次B´ezier 曲線的方案，即上圖中的紅色曲線和虛線框，因為貝塞爾曲線具有易于計算、穩定、轉換自由等特點。此外，作者也設計了基于可形變卷積的特征翻轉融合子產品，進行車道線對稱屬性的探究。
最終文章的方案在保持高速度（>150FPS）和小尺寸（<10M）的同時，在車道線檢測基準資料集LLAMAS上取得了新的SOTA表現，同時在TuSimple和CULane資料集上取得了競争力的精度表現。
B´ezier 曲線相關補充
貝塞爾曲線（以3階為例）是依據四個位置任意的點坐标繪制出的一條光滑曲線。其通過控制曲線上的四個點（起始點、終止點以及兩個互相分離的中間點）來創造、編輯圖形。其中起重要作用的是位于曲線中央的控制線。這條線是虛拟的，中間與貝塞爾曲線交叉，兩端是控制端點。移動兩端的端點時貝塞爾曲線改變曲線的曲率（彎曲的程度）；移動中間點（也就是移動虛拟的控制線）時，貝塞爾曲線在起始點和終止點鎖定的情況下做均勻移動。
對于任意階貝塞爾曲線，可通過以下公式進行表示：
文章也對貝塞爾曲線和多項式方程曲線進行了對比實驗，如下表所示，表中名額是在TuSimple測試集上的結果，越低越好。
通過上述實驗，文章選擇使用經典的3階貝塞爾曲線(n=3), 因為實驗中發現3階足夠用來進行車道線模組化，同時與3階多項式曲線相比具有更好的拟合能力，而3階多項式曲線是之前衆多方案中的基礎方程（論文中如此說），實際小湯在自己參與的部分工作及和同行交流中得知，目前各家實際量産中的方案也大都為3階多項式曲線方案。文章也指出更高階的曲線并沒有帶來相應的性能提升，但卻會由于高自由度而造成不穩定性。
The Proposed Architecture
對于輸入的RGB圖像，經過特征提取得到的特征圖送入特征翻轉融合子產品，得到 CxH/16xW/16 大小的特征圖，再經過平均池化得到的CxW/16的特征圖，最後經過一個分類和一個回歸分支得到相應的貝塞爾曲線結果。
Feature Flip Fusion
特征翻轉子產品是文章的主要工作之一。
通過對車道線作為曆史曲線來模組化，文章集中于各條車道線的幾何特性，如瘦、長、連續等特性。當從前視相機的角度來考慮車道線的全局結構事，道路具有空間等分的車道線，近似于對稱，例如。左邊車道線的存在可能暗示其右側存在對應的車道線。文章對這種對稱性進行模組化，為此設計了特征翻轉子產品。
an auxiliary binary segmentation branch
文章還在ResNet backbone上設計了一個額外的二分類分割分支，旨在加強對于空間細節的學習。并通過實驗發現這個額外的分支隻有在和特征翻轉融合子產品一起工作時才起作用。這是因為分割任務的定位有利于提供一個空間上更準确的特征圖，這個反過來支援翻轉特征圖之間更準确融合。
這個額外的二分類分割分支隻在訓練時使用，推理時關掉。
文章通過上圖所示的Grad-CAM可視化效果對這一設計的影響進行了說明，詳細細節可以閱讀原文。
Overall Loss
因為在車道線檢測資料集中，并不存在正負樣本不平衡問題，是以分類和分割都使用了簡單的權重交叉熵損失。
Experiments
Results on test set of CULane and TuSimple. *reproduced results in our code framework, best performance from three random runs. **reported from reliable open-source codes from the authors.
ablation studies
可視化示例：