天天看點

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

作者:CV_Community

來源:計算機視覺社群

本文還是在傳統機器視覺的基礎上讨論單目測距,深度學習直接估計深度圖不屬于這個議題,主要通過mobileye的論文管中窺豹,相信離實際工程應用還有很遠。

以前提過單目測距的問題,檢測的障礙物2-D框加上攝像頭的姿态和路面假設。以下根據公開釋出的論文讨論具體的算法:

注:深度學習直接估計深度圖不屬于這個議題。

1、Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

著名的Mobileye論文,先看成像幾何如圖:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

本車A,前方車B和C,攝像頭P焦距f,高度H,和障礙物B/C距離Z1/Z2,B/C檢測框着地點在圖像的投影是y1/y2。那麼y=fH/Z,是以Z=fH/y。下面是三個不同距離的估計結果:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

精度測量得到:90米誤差大約10%, 44米誤差約為5%。

2、Integrated Vehicle and Lane Detection with Distance Estimation

算法流程如下:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

先是從3個消失點估算攝像頭焦距,然後6個2D-3D對應點得到攝像頭姿态:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

基于車道寬度的假設(3.75米),可以算出投影矩陣,随之得到距離公式:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

下圖是一些結果:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

3、Use of a Monocular Camera to Analyze a Ground Vehicle’s Lateral Movements for Reliable Autonomous City Driving

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

還是基于消失點原理,加上水準線,可得到道路場景幾何關系。

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

消失點和pitch angle的關系:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

從消失點得到pitch angle:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

4、Robust Range Estimation with a Monocular Camera for Vision-Based Forward Collision Warning System

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

如果車輛寬度已知,那麼車距為d=FW/w。

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

如上圖,可以計算距離為:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

整個FCW系統流程圖如下:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

給了一個虛拟水準線的概念,估計它的位置

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

,Hc為攝像頭高度,Yb是車輛框底部的垂直位置。然後可以計算出車輛距離:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

5、Robust Vehicle Detection and Distance Estimation Under Challenging Lighting Conditions

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

碰撞報警需要估算安全距離。下圖幾何關系能給出估計距離的公式:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

距離公式為

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

下圖是IPM的鳥瞰圖展示距離:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

6、Pitch Angle Estimation Using a Vehicle Mounted Monocular Camera for Vehicle Target Range Measurement

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

計算特征點運動,由此得到自身攝像頭運動,從其平移向量推出pitch angle。

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

上圖可以計算出前方車的距離:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

整個系統流程圖如下:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

下面就是從SFM的幾何關系推理距離:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

看下面的關系可以得到pitch angle:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

角度計算公式為

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

7、Forward Collision Warning with a Single Camera

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

time to contact (TTC) 直接從車輛的大小和位置得到,下面是流程圖:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

計算公式:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

車邊框的位置以及光流大小可以确定碰撞的可能性:

單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)
單目視覺系統檢測車輛的測距方法(Mobileye單目測距等7種方法)

這裡主要是通過簡單的幾何關系,直接估算檢測的路上車輛距離并給出可能的撞擊時間。現在深度學習越來越強大,理論上得到車檢測邊框的同時,也可以回歸車的距離。

本文僅做學術分享,如有侵權,請聯系删文。

下載下傳1

在「計算機視覺工坊」公衆号背景回複:深度學習,即可下載下傳深度學習算法、3D深度學習、深度學習架構、目标檢測、GAN等相關内容近30本pdf書籍。

下載下傳2

在「計算機視覺工坊」公衆号背景回複:計算機視覺,即可下載下傳計算機視覺相關17本pdf書籍,包含計算機視覺算法、Python視覺實戰、Opencv3.0學習等。

下載下傳3

在「計算機視覺工坊」公衆号背景回複:SLAM,即可下載下傳獨家SLAM相關視訊課程,包含視覺SLAM、雷射SLAM精品課程。