做了這麼久車道線，決定近期沉澱一下，把看過的車道線文章寫一個專欄，希望能堅持下去—歡迎關注我的公衆号：Cv打怪更新 一起學習交流
今天帶來2020ICPR的一篇同樣面向實時效率的車道線檢測算法，PolyLaneNet提出一種多項式回歸的思想，直接得到車道線多項式的相關參數，無需後處理。在Tusimple上Acc隻能到93.36，确實低了點，但思路确實挺新穎，速度能達到115FPS。
論文位址：https://arxiv.org/pdf/2004.10924.pdf
代碼位址：https://github.com/lucastabelini/PolyLaneNet
摘要
促使自動駕駛技術取得巨大進步的主要因素之一是深度學習的出現。對于更安全的自動駕駛車輛，尚未完全解決的問題之一是車道檢測。由于該任務的方法必須實時工作（+30 FPS），是以它們不僅必須有效（即具有高精度），而且必須高效（即快速）。在這項工作中，我們提出了一種新的車道檢測方法，該方法使用安裝在車輛上的前視攝像頭的圖像作為輸入，并通過深度多項式回歸輸出代表圖像中每個車道标記的多項式。結果表明，該方法在保持效率（115 FPS）的同時，與TuSimple資料集中現有的最先進方法具有競争力。此外，還介紹了另外兩個公共資料集的大量定性結果，以及近期車道檢測工作中使用的評估名額的局限性。最後，我們提供了源代碼和經過訓練的模型，允許其他人複制本文中顯示的所有結果，這在最先進的車道檢測方法中非常罕見。
一.引言
自動駕駛是近年來備受關注的一個具有挑戰性的研究領域。深度學習技術[2]-[4]的發展極大地影響了與該領域相關的感覺問題。特别是，自動駕駛汽車應該能夠估計交通車道線，因為除了作為空間限制外，每個車道都提供了特定的視覺線索來控制行駛。在這種情況下，兩個最重要的交通線(即車道标記)是定義車輛車道的線，即自我車道。這些線為駕駛員的操作設定了限制，它們的類型定義了是否允許機動(例如，變道)。此外，檢測相鄰車道也很有用，這樣系統就可以根據對交通場景的更好了解做出決策。
車道估計(或檢測)一開始可能看起來微不足道，但它可能非常具有挑戰性。雖然車道标志相當标準化，但形狀和顔色各不相同。當出現虛線或部分閉塞的車道标記時，估計車道需要對場景的語義了解。此外，環境本身具有内在的多樣性:可能有大量的車輛，來來往往的人，或者它可能隻是一條免費的高速公路。此外，這些環境受多種天氣(如雨、雪、晴天等)和照明(如白天、夜晚、黎明、隧道等)條件的影響，這些可能在駕駛過程中發生變化。
車道估計(或檢測)任務的傳統方法包括提取手工制作的特征[5]，[6]，然後進行曲線拟合過程。雖然這種方法往往在正常和有限的情況下工作得很好，但在不利的條件下(如前面提到的那些)，它通常不像需要的那樣健壯。是以，随着許多計算機視覺問題的發展趨勢，深度學習最近開始被用于學習魯棒特征和改進車道标記估計過程[7]-[9]。一旦車道标記被估計出來，就可以進行進一步的處理來确定實際的車道。不過，仍有一些限制需要解決。首先，許多基于深度學習的模型将車道标記估計分為兩步:特征提取和曲線拟合。大多數工作通過基于分割的模型提取特征，通常效率低下，難以實時運作，不滿足自動駕駛的要求。此外，單獨的分割步驟不足以提供車道标記估計，因為分割地圖必須進行後處理，以輸出交通線。此外，這兩步過程可能會忽略全局資訊[8]，這在缺少視覺線索(如強陰影和遮擋)時特别重要。其次，其中一些工作是由私人公司完成的，這些公司通常(i)不提供複制其研究結果的手段，(ii)在私人資料集上開發他們的方法，這阻礙了研究的進展。最後，評價方案有改進的空間。這些方法通常隻在來自美國的資料集上測試(開發中國家的道路通常沒有得到很好的維護)，而且評估名額過于寬松(它們允許錯誤，進而妨礙了适當的比較)，如第四節所讨論的。
在這種情況下，本文方法專注于消除兩步處理的需要，進一步降低處理成本可能有利于通常依賴于低能耗和嵌入式硬體的進階驅動輔助系統(ADAS)。
本文提出PolyLaneNet，一種用于端到端車道标記估計的卷積神經網絡(CNN)。PolyLaneNet從安裝在車輛上的前視攝像頭擷取圖像，并輸出代表圖像中每個車道标記的多項式，以及這些多項式的域(縱向區間)和每個車道的置信度分數。該方法被證明是與現有的最先進的方法競争，同時速度更快，不需要後處理來進行車道估計。此外，我們提供了一個更深入的分析使用的名額建議的文獻。最後，我們公開了源代碼(用于訓練和推斷)和訓練模型，允許複制本文中展示的所有結果。
二.相關工作
這一塊文中介紹的不夠系統，隻是分為傳統方法和深度學習挑着說了一些文獻的方法，在此就不贅述了。想了解脈絡的可以看我前兩篇文中介紹的方法。
傳統方法
深度學習的方法
三.模型介紹
3.1 模型定義
模型輸入：iamge
模型輸出：Mmax個車道線表示參數、車道線終止點垂直高度h
PolyLaneNet的體系結構包括一個主幹網絡(用于特征提取)，附加了一個具有Mmax+1輸出的全連接配接層作為輸出.其中1到Mmax用于車道線的預測，Mmax+1預測車道線終止點垂直高度。
這裡關于Mmax的表述個人感覺有些模糊不清，從j的阈範圍來看，Mmax應該對應車道線數量的，但從上文的描述而言，Mmax又像是偏向于車道線數量*6個系數+1。(對于3階多項式而言）
這裡的了解還是以代碼為準的比較好，隻要知道輸出的是什麼即可，然後每個參數的含義是什麼
【源代碼中的預測的參數次元輸出的格式】
後面将對參數進行介紹
【關于多項式的表達】
Pj代表每條車道線多項式系數ak,j的集合，其中K為最高階階數，j為不同的車道線(在輸入網絡進行預測之前需要對車道線的順序進行排序，應該是從圖檔的左邊開始依次往右編号)
然後多項式以y為自變量來建立多項式計算公式(因為各個資料集标注也是在縱軸上等距離劃分的)如下：
【PolyLaneNet的輸出]
a的集合P--4個多項式系數（對于三階而言）
s---每條車道線的起始點垂直高度
c---每條車道線的預測置信度
shared h ---單幅圖像中所有車道共享的終止點垂直高度
I為輸入圖像，θ為模型參數。在架構中，如圖1所示，隻有置信度得分大于或等于門檻值的候選車道線才被視為檢測到。
3.2模型訓練
定義了ground truth中坐标點的關系大小 以及s、置信度
（*表示标注的真值）
【損失函數】
4.實驗
5.結論
文提出了一種基于深度多項式回歸的車道檢測方法。與最先進的方法相比，所提出的方法簡單有效，同時保持了具有競争力的準确性。盡管存在精度略高的最先進方法的作品，但大多數作品都沒有提供源代碼來複制其結果，是以很難深入研究方法之間的差異。我們的方法除了具有計算效率外，還将公開使用，以便将來的車道線檢測工作有一個基線來開始工作和進行比較。此外，我們還展示了用于評估車道标記檢測方法的名額存在的問題。對于未來的工作，可以探索可用于不同車道檢測方法（例如分割）的名額，以及更好地突出車道檢測方法中的缺陷的名額。
如果有問題，歡迎指正。 歡迎關注我的公衆号：Cv打怪更新 一起學習交流