基于多传感器融合的智能辅助驾驶，它的目标检测结果究竟如何？
基于多传感器的融合与高清视频数据融合的目标检测识别算法，可有效提高智能驾驶车辆的安全性。但由于多传感器融合的毫米波雷达和视频的数据形态不同，如何将两者有效融合将会是关键性问题。
汽车驾驶辅助可以极大地促进驾驶安全，避免交通事故的发生。目前为止，智能汽车都配备了毫米波雷达（毫米波雷达）、激光雷达和高清摄像头等传感器。
通过对这些传感器数据的实时分析，对车外的行人、自行车、摩托车、汽车等物体进行检测和识别，达到实时感知车辆外部环境的目的。
然而，基于单一传感器的感知存在一些不足，例如，由于基于视觉感知的物体空间位置定位误差较大，无法准确估计物体在现实世界中的位置。基于毫米波雷达数据的分析存在物体分类识别能力不足等问题。
目前针对智能驾驶辅助的多传感器融合研究大多集中在雷达和摄像头数据的融合上，主要原因是雷达点云数据在水平和垂直方向的透视更容易与图像坐标对齐。
雷达存在成本高、易受天气和空气杂质影响、无法检测物体速度等缺点。基于毫米波雷达和摄像头的数据融合可靠性高，应用场景更广泛。
毫米波雷达与相机图像的数据模态差异较大，难以实现有效的数据融合，大多数现有方法通过投影到真实世界坐标来实现毫米波雷达和相机图像之间的数据对齐。
然而，针对毫米波雷达与摄像头异构数据难以融合的问题，提出一种基于毫米波雷达与高清视频的智能辅助驾驶目标检测融合算法。
在极坐标系下对毫米波雷达和相机进行联合标定，通过近似插值将两类数据在水平方向对齐，有效克服了图像畸变对坐标变换的影响，深度网络模型用于实现基于图像数据的目标检测和识别。
雷达与视频图像的数据融合根据信息的抽象程度可分为像素级、特征级和决策级融合，空间目标的位置检测结果可以直接由毫米波雷达获取，分布在水平维度上，不太可能与图像数据实现像素级融合。
特征级融合通过提取特征（如边缘、形状、区域、距离等），然后进行融合处理来处理传感器数据，毫米波雷达数据可以直接提供物体的检测结果，无法与图像数据实现特征级融合。
实现雷达与视频图像数据融合的唯一可行方法是结合雷达探测结果分析图像特征，根据一定的准则和决策可信度，实现最优决策的决策级融合。
目标检测是计算机视觉中最基础和挑战之一，传统的数字图像处理是2012年之前的典型方法，如VJ、HOG、DPM等。2012年后，以卷积神经网络（CNN）为代表的深度学习（DL）逐渐成为主流方法。
深度学习执行目标检测任务可以分为两条技术路线：两级网络和单级网络。级网络以RCNN为代表，单级网络以YOLO和SSD为代表。
考虑到智能驾驶辅助对目标检测算法有极高的速度要求，大部分策略采用具有效率优势的单阶段算法，尤其是新出现的YOLOV5算法在效率和性能平衡方面表现最好，更适合智能驾驶辅助中的物体检测
由于点云数据与视频图像的观察角度分布相似，因此大多数基于LiDAR数据的目标检测研究大多代替雷达。
但激光雷达输出数据量大，价格高，天气适应性差，应用于辅助驾驶，考虑到成本问题和边缘计算资源有限。
与激光雷达不同，毫米波雷达一般不提供点云数据，而是直接提供物体的相对位置和相对速度，由于目标识别精度差，大部分毫米波雷达无法实现目标分类。
在毫米波雷达与影像数据融合方面，两者能否在时间和空间维度上对齐是数据融合的关键。主流毫米波雷达的数据输出速率为20fps，相机的图像数据为25~30fps。两者时间差小于40ms，满足时间对齐的要求，通过标定实现空间对齐，通过坐标变换实现数据对应转换。
具体来说，相机和毫米波雷达通过多个关键点联合标定实现空间对齐，并将这两类数据转化为极坐标。
将结合视觉感知算法和毫米波雷达的物体空间位置检测信息，实现策略级多传感器数据融合，也就是基于模型的融合，从而提高物体检测和识别的准确性。
图像和毫米波雷达数据的联合标定需要它们之间的空间对齐，即图像像素数据和雷达数据在坐标系中是一一对应的。
首先，雷达只能提供水平方向的物体检测结果，而图像像素分布在水平（X轴）和垂直（Y轴）维度，因此雷达数据和图像只能在水平方向上对齐。其次，图像数据缺少深度信息，极坐标系中没有极径值，所以只对齐极角。
在相机和毫米波雷达的共同视野范围内，采用均匀间隔的角度进行联合标定，利用毫米波雷达的极角和极径数据形式，通过查表获取图像的水平像素坐标，得到角度范围，通过插值计算极角。
基于多传感器融合的智能辅助驾驶，可以使用更多其他基于图像的方法代替YOLOv5，例如SSD，PPYOLO等，在根据融合算法来提高智能辅助驾驶中物体检测和识别的效果。
