基于多傳感器融合的智能輔助駕駛，它的目标檢測結果究竟如何？
基于多傳感器的融合與高清視訊資料融合的目标檢測識别算法，可有效提高智能駕駛車輛的安全性。但由于多傳感器融合的毫米波雷達和視訊的資料形态不同，如何将兩者有效融合将會是關鍵性問題。
汽車駕駛輔助可以極大地促進駕駛安全，避免交通事故的發生。目前為止，智能汽車都配備了毫米波雷達（毫米波雷達）、雷射雷達和高清攝像頭等傳感器。
通過對這些傳感器資料的實時分析，對車外的行人、自行車、機車、汽車等物體進行檢測和識别，達到實時感覺車輛外部環境的目的。
然而，基于單一傳感器的感覺存在一些不足，例如，由于基于視覺感覺的物體空間位置定位誤差較大，無法準确估計物體在現實世界中的位置。基于毫米波雷達資料的分析存在物體分類識别能力不足等問題。
目前針對智能駕駛輔助的多傳感器融合研究大多集中在雷達和攝像頭資料的融合上，主要原因是雷達點雲資料在水準和垂直方向的透視更容易與圖像坐标對齊。
雷達存在成本高、易受天氣和空氣雜質影響、無法檢測物體速度等缺點。基于毫米波雷達和攝像頭的資料融合可靠性高，應用場景更廣泛。
毫米波雷達與相機圖像的資料模态差異較大，難以實作有效的資料融合，大多數現有方法通過投影到真實世界坐标來實作毫米波雷達和相機圖像之間的資料對齊。
然而，針對毫米波雷達與攝像頭異構資料難以融合的問題，提出一種基于毫米波雷達與高清視訊的智能輔助駕駛目标檢測融合算法。
在極坐标系下對毫米波雷達和相機進行聯合标定，通過近似插值将兩類資料在水準方向對齊，有效克服了圖像畸變對坐标變換的影響，深度網絡模型用于實作基于圖像資料的目标檢測和識别。
雷達與視訊圖像的資料融合根據資訊的抽象程度可分為像素級、特征級和決策級融合，空間目标的位置檢測結果可以直接由毫米波雷達擷取，分布在水準次元上，不太可能與圖像資料實作像素級融合。
特征級融合通過提取特征（如邊緣、形狀、區域、距離等），然後進行融合處理來處理傳感器資料，毫米波雷達資料可以直接提供物體的檢測結果，無法與圖像資料實作特征級融合。
實作雷達與視訊圖像資料融合的唯一可行方法是結合雷達探測結果分析圖像特征，根據一定的準則和決策可信度，實作最優決策的決策級融合。
目标檢測是計算機視覺中最基礎和挑戰之一，傳統的數字圖像處理是2012年之前的典型方法，如VJ、HOG、DPM等。2012年後，以卷積神經網絡（CNN）為代表的深度學習（DL）逐漸成為主流方法。
深度學習執行目标檢測任務可以分為兩條技術路線：兩級網絡和單級網絡。級網絡以RCNN為代表，單級網絡以YOLO和SSD為代表。
考慮到智能駕駛輔助對目标檢測算法有極高的速度要求，大部分政策采用具有效率優勢的單階段算法，尤其是新出現的YOLOV5算法在效率和性能平衡方面表現最好，更适合智能駕駛輔助中的物體檢測
由于點雲資料與視訊圖像的觀察角度分布相似，是以大多數基于LiDAR資料的目标檢測研究大多代替雷達。
但雷射雷達輸出資料量大，價格高，天氣适應性差，應用于輔助駕駛，考慮到成本問題和邊緣計算資源有限。
與雷射雷達不同，毫米波雷達一般不提供點雲資料，而是直接提供物體的相對位置和相對速度，由于目辨別别精度差，大部分毫米波雷達無法實作目标分類。
在毫米波雷達與影像資料融合方面，兩者能否在時間和空間次元上對齊是資料融合的關鍵。主流毫米波雷達的資料輸出速率為20fps，相機的圖像資料為25~30fps。兩者時間差小于40ms，滿足時間對齊的要求，通過标定實作空間對齊，通過坐标變換實作資料對應轉換。
具體來說，相機和毫米波雷達通過多個關鍵點聯合标定實作空間對齊，并将這兩類資料轉化為極坐标。
将結合視覺感覺算法和毫米波雷達的物體空間位置檢測資訊，實作政策級多傳感器資料融合，也就是基于模型的融合，進而提高物體檢測和識别的準确性。
圖像和毫米波雷達資料的聯合标定需要它們之間的空間對齊，即圖像像素資料和雷達資料在坐标系中是一一對應的。
首先，雷達隻能提供水準方向的物體檢測結果，而圖像像素分布在水準（X軸）和垂直（Y軸）次元，是以雷達資料和圖像隻能在水準方向上對齊。其次，圖像資料缺少深度資訊，極坐标系中沒有極徑值，是以隻對齊極角。
在相機和毫米波雷達的共同視野範圍内，采用均勻間隔的角度進行聯合标定，利用毫米波雷達的極角和極徑資料形式，通過查表擷取圖像的水準像素坐标，得到角度範圍，通過插值計算極角。
基于多傳感器融合的智能輔助駕駛，可以使用更多其他基于圖像的方法代替YOLOv5，例如SSD，PPYOLO等，在根據融合算法來提高智能輔助駕駛中物體檢測和識别的效果。
