标題：RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving
作者：Tong Qin, Yuxin Zheng, Tongqing Chen, Yilun Chen, and Qing Su
連結：https://arxiv.org/pdf/2106.02527.pdf
機構：IAS BU Smart Driving Product Dept, Huawei Technologies
編輯：李璟
稽核：張海晗
摘要
準确的定位是自動駕駛任務的關鍵。如今，我們已經看到了很多傳感器豐富的車輛(如Robo-taxi)在街道上進行自動駕駛任務，它依賴于高精度傳感器(如雷射雷達和RTK GPS)和高精地圖。然而，低成本的量産汽車負擔不起在傳感器和地圖上如此高昂的費用。如何降低成本?傳感器豐富的汽車如何使低成本汽車受益?在本文中，我們提出了一種輕量級的定位解決方案，它依賴于低成本的相機和緊湊的視覺語義地圖。地圖可以由衆包的方式利用傳感器豐富的車輛進行制作和更新。具體來說，地圖由幾個語義元素組成，如路面上的車道線、人行橫道、地面标志和停車線。我們介紹了車輛建圖、雲上維護和使用者端本地化的整體架構。地圖資料在車輛上進行采集和預處理，然後，将衆包資料上傳到雲伺服器。來自衆多車輛的海量資料在雲上進行合并，實作語義地圖的及時更新。最後，将語義地圖壓縮并分發到量産車輛，量産車輛使用該地圖進行定位。我們在真實世界的實驗中驗證了所提出地圖性能，并與其他算法進行了比較。語義地圖的平均大小為36KB/km。需要強調的是，該架構是一種可靠、實用的自動駕駛定位解決方案。
1 背景與貢獻
為了實作自主駕駛，車輛上安裝了各種傳感器，如GPS、IMU、攝像頭、雷射雷達、毫米波雷達、輪式裡程計等。基于雷射雷達和高精地圖的自動駕駛定位方案是Robo-taxi的理想選擇。然而，有幾個缺點限制了它在一般量産汽車上的使用。首先，量産車負擔不起雷射雷達和高清地圖的高昂成本。此外，點雲地圖占用大量記憶體，難以批量生産。同時，高精地圖的制作需要耗費大量人力，并且難以保證及時的更新。為了克服這些挑戰，應該使用依賴低成本傳感器和緊湊地圖的方法。
本文的主要貢獻如下:
- 提出了一種新的用于自動駕駛任務的輕量級定位架構，包括車輛建圖、雲端地圖維護和使用者端定位。
- 我們提出了一個新穎的想法，讓低成本車輛從傳感器豐富的車輛(如Robo-taxi)受益，傳感器豐富的車輛每天自動收集資料和更新地圖。
- 我們在真實世界中進行了實驗，以驗證所提出的系統的實用性。
2 方法
本文所提出系統架構如圖1。
圖1.系統結構示意。該系統由三部分組成，第一部分是車端建圖，第二部分是雲端建圖，第三部分是使用者端定位。
2.1 車端建圖
A.圖像分割
圖2.(a)為前視相機捕獲的原始圖像。紅框為2.1B節中使用的ROI。(b)為分割結果，将場景劃分為多個類别。白色為車道線，藍色為人行橫道，黃色為路标，棕色為停止線，灰色為路面。(c)表示在車輛坐标系下的語義特征。
我們使用一種基于CNN的方法，對場景進行分割。在本文中，前視圖像被分割為多個類别，如地面、車道線、停車線、路标、路緣、車輛、自行車和人。其中，地面、車道線、停車線和路标用于語義建圖，其他類别可用于其他自動駕駛任務，圖像分割的一個例子如圖2。
B.逆透視變換
分割後，語義像素點由圖像平面反投影到車輛坐标系下的地平面，這一過程稱為逆透視變換。離線标定相機内參與其關于車輛中心的外參。由于透視噪聲的存在，場景越遠，誤差越大，是以我們隻選擇靠近相機中心的一個ROI（Region Of Interest）内的像素進行計算。這個ROI代表了車輛前方的矩形區域，假設地面是一個平面（），那麼将像素坐标投影至地平面的過程如下：
其中為相機的畸變校正與投影模型，為相機相對于車輛中心的外參，為像素坐标，為特征在車體中心坐标系下的坐标，是一個标量。表示取矩陣的第列。圖2是逆透視變換的一個執行個體。ROI中每一個被标記的像素都被投影到車輛前方。
C.圖優化
圖3.藍線為GNSS信号好的區域，受益于RTK-GNSS的準确性，軌迹資訊也是十分準确的。在GNSS阻塞區域，軌迹由綠色線畫出，可以看到産生了很大的漂移。為了消除漂移，我們對位姿圖進行了優化，優化後的軌迹用紅色表示，可以看到軌迹平滑無漂移。
圖4.位姿圖的示意圖。藍色節點是車輛在某一時刻的狀态，包括位置 和方向。圖中有兩種邊，藍色邊表示GNSS限制，其僅在GNSS-good時存在，隻影響一個節點。綠色邊表示任何時刻都存在的裡程計限制，它限制了兩個相鄰節點。
為了繪制地圖，準确的車輛姿态是必要的。雖然采用了RTK-GNSS，但不能保證其能始終提供一個可靠的姿态。RTK-GNSS隻能在開放區域提供厘米級的位置。在城市場景中，它的信号很容易被高樓大廈遮擋。導航器件（IMU、輪速計）能夠在GNSS阻塞區域提供裡程資訊。然而，裡程計無可避免地存在累計誤差（圖3），通過位姿圖（圖4）的優化可以消除累計誤差。圖優化可以表示為如下方程：
其中為姿态（位置和方向），為裡程計的殘差因子，為裡程計的測量值，包含相鄰狀态間的位置和姿态，為GNSS殘差因子，指GNSS-good區域的狀态集合，為GNSS測量值，包含了全局位置。殘差因子的形式定義如下，其中為四元數的虛部：
D.本地建圖
圖5.語義地圖壓縮與解壓縮示例。（a）表示原始語義圖，（b）表示語義圖的輪廓，（c）表示由輪廓恢複的語義圖。
位姿圖的優化車輛提供了可靠的姿态資訊。在第幀圖像中提取的語義特征從車輛坐标系轉換到全局坐标系：
從圖像分割中，每個點都包含一個類标簽(地面、車道線、路标和人行橫道)。每個點表示世界系中的一個小區域。當車輛移動時，一個區域可以被多次觀察到。然而，由于分割的噪聲，這一區域可能被劃分為不同的類别。為了克服這個問題，我們使用統計方法來過濾噪聲。我們将地圖分為小網格，分辨率為0.1 × 0.1 × 0.1m。每個網格的資訊包含位置、語義标簽和每個語義标簽的計數。語義标簽包括地面、車道線、停車線、地面标志和人行橫道。一開始，每個标簽的分數都是零。當語義點插入網格時，相應标簽的得分增加1。是以，得分最高的語義标簽表示網格的類。通過該方法，語義圖對噪聲分割具有較好的準确性和魯棒性。全局建圖結果如圖5(a)所示。
2.2 雲端建圖
A.地圖合并/更新
雲端建圖伺服器用于聚合多個車輛捕獲的大量資料。它及時地合并局部地圖，進而使全局語義地圖是最新的。為了節省帶寬，我們隻将局部地圖的占用網格上傳到雲端。與車端建圖過程一樣，雲伺服器上的語義地圖也被劃分為分辨率為0.1 × 0.1 × 0.1m的網格。我們将局部地圖的網格根據其位置添加到全局地圖中。具體來說，本地地圖網格中的分數被添加到全局地圖的相應網格中。這個過程是并行運作的。最後，得分最高的标簽即為該網格的标簽。圖8給出了地圖更新的詳細執行個體。
B.地圖壓縮
在雲伺服器中生成的語義地圖将在量産汽車上進行本地化。但是，量産車的傳輸帶寬和車載存儲有限。為此，語義地圖在雲上進一步壓縮。由于輪廓線可以有效地表示語義地圖，是以采用輪廓提取對語義地圖進行壓縮。首先，我們生成了語義地圖的俯視圖圖像，每個像素表示一個網格。其次，提取每個語義組的輪廓。最後，将輪廓點儲存并配置設定到量産車上。如圖5所示，(a)為原始語義圖。圖5(b)為該語義圖的輪廓。
2.3 使用者端定位
A.地圖解壓
當接收到壓縮後的地圖後，使用者端會從輪廓圖中解壓得到語義地圖。在俯視圖圖像平面中，我們用相同的語義标簽填充輪廓内的點。然後，每個标記像素從圖像平面轉換到世界系。解壓縮後的語義地圖示例如圖5(c)。對比圖5(a)中原始地圖和圖5(c)中恢複的地圖，可見解壓方法有效地恢複了語義資訊。
B.ICP定位
圖6.語義地圖定位示意。地圖上的白點與黃點分别是車道線和路标。綠色點是觀察到的語義特征，橙色線是估計的軌迹。
解壓後的語義地圖進一步用來進行定位。類似于建圖的過程，前視相機圖像分割得到的像素投影到車輛坐标系下，生成語義點雲。那麼，通過将目前特征點與地圖進行比對，就可以得到車體目前姿态，如圖6。使用ICP進行估計，公式如下：
其中和分别是四元數和位置。是特征點的集合。是目前車輛坐标系下的特征，是世界系下地圖中的最近點。最終采樣EKF架構完成裡程計與視覺定位結果的融合，該濾波器不僅提高了定位的魯棒性，而且平滑了軌迹。
3 實驗
A.地圖生成
制圖時，汽車配備有RTK-GPS，前視相機，IMU和輪式編碼器。多輛車同時在市區行駛，車輛本地地圖通過網絡上傳到雲伺服器。最終結果如圖7。這一地區的公路總長度為22公裡。原始語義地圖的整體大小為16.7 MB，壓縮後的語義地圖的大小為0.786 MB，壓縮語義地圖的平均大小為36 KB/KM。地圖更新的例子如圖8。
圖7.上海浦東新區一個城市街區的語義地圖。該地圖已與谷歌地圖對齊。
圖8.語義更新示例。（a）展示了原始環境，（b）顯示行車線重新繪制後的環境,（c）顯示了原始語義地圖，（d）顯示了正在更新的語義地圖，（e）顯示更新完成的語義地圖。
B.定位準确性
在這一部分，我們評估了本方法與基于雷射定位方法的精度。車輛配備了攝像頭、雷射雷達和RTK GPS。RTK GPS被視為真值。由于是自動駕駛場景，我們重點關注x,y方向和偏航角的定位精度。由圖9和表1可見，我們的定位方法優于基于lidar的定位方法。
圖9.定位誤差在x, y，和偏航方向的機率分布圖。
表1.定位誤差
參考文獻
[1] J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 3431–3440.
[2] O. Ronneberger, P . Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” in International Conference on Medical image computing and computer-assisted intervention.Springer, 2015, pp. 234–241.