论文简读 | 城市自动驾驶应用的概率语义地图

论文原题目：Probabilistic Semantic Mapping for Urban Autonomous Driving Applications

作者：David Paz, Hengyuan Zhang, Qinru Li

论文原址

【论文速读】城市自动驾驶应用的概率语义地图

论文摘要

近年来统计学和计算机能力的进步使自动驾驶技术以更快的速度发展并得到广泛应用。虽然很多介绍的许多地图体系结构都能够在高度动态的环境下运行，但由于与高精（HD）地图相关的可扩展性成本，其中许多体系结构都局限于较小规模的部署，并且需要经常维护。高精地图为自动驾驶汽车安全驾驶提供了关键信息。然而，创建高精地图的传统方法涉及繁琐的手动标记物体。为了解决这一问题，我们将融合图像和与构建点云图信息，对道路、人行道、人行横道和车道等静态地标进行自动和准确的标记。该方法对二维图像进行语义分割，将语义标签与点云地图相关联，以准确地定位它们在世界上的位置，并利用混淆矩阵公式从语义点云出发，在鸟瞰图中构造概率语义图。从城市环境中收集的数据进行的实验表明，该模型能够预测大多数道路特征，并可扩展到自动将道路特征纳入具有潜在未来工作方向的高精度地图中。

主要贡献

在高精度地图的生产制作过程中，从数据中提取语义和属性所需要的工作量是巨大的。因此，使用模型自动化这一过程显得很有必要，可以降低劳动力成本，提高驾驶安全性。

本文主要是利用16线激光雷达构建的密集点云地图和来自深度神经网络的语义标记图像，在城市驾驶环境中自动生成密集的概率语义地图，为道路、车道标记、人行横道和人行道提供稳固可靠的标签。通过用混淆矩阵公式对语义分割网络的不确定性进行建模，创建了环境的鸟瞰语义图。与自动驾驶车辆上测试过的地面真实高精地图的比较表明，该模型能够识别道路上的语义特征并在三维空间中进行精确定位。

论文主要内容

图1生成概率语义地图的道路特征提取和高清地图应用的处理流程

1.简介

介绍了本文背景、研究领域的发展现状以及本文实验的创新点和必要性。

2.相关工作

语义分割（Semantic Segmentation）：本文原文中说Semantic segmentation is the task of assigning each observed data point (e.g. pixel or voxel) to a class label that contains semantic meanings.即语义分割是分配每个观察到的数据点(例如像素或体素)到包含语义意义的类标签。我的理解语义分割是将视觉输入分为不同的语义可解释类别，「语义的可解释性」即分类类别在真实世界中是有意义的。也就是将视觉输入的内容进行分割、分类和标记。

图2语义分割网络的训练标签及其相关颜色

本文使用的是DeepLabV3Plus网络架构从2D图像中提取语义分割，使用在Image Net上预先训练的轻量级Res NeXt50被用作特征提取骨干。

语义地图（Semantic Mapping）：虽然具有语义标签的点云自然地保留了环境的三维几何形状，但这种场景的表示受到传感器测量噪声和小的语义标签波动的影响。 为了解决这一问题，我们维护一个本地或全局概率地图，其中本地地图可以提供围绕自我-车辆的直接密集语义线索，而全局地图可以帮助自动化构建HD地图的过程。

概率地图（Probabilistic Map）：概率图可以在滤波噪声的同时，捕获离散空间中固有的分布信息。 在本工作中，成功地将这些技术应用于语义映射生成，同时利用LiDAR中的先验信息来生成更稳定的语义映射。

点云语义关联（Point Cloud Semantic Association）：在给定语义图像的情况下，估计语义像素数据的相对深度可以帮助我们重建具有语义标签的三维场景。然而，这些信息通常不可用。基于多视角几何的深度估计需要显著的特征，这在道路上或当照明条件变化很大时容易出错。即使使用我们实时获得的激光雷达扫描，16线激光雷达的稀疏分辨率也使得推断潜在几何结构变得困难。相反，我们的方法提取密集点云地图的小区域，并将其投影到语义分割的图像中以检索深度信息。由于建立如此密集的点地图只需要驾车经过该地区一次，这一过程比人工标记成本更低。

实验结果

图3车辆传感器配置

图4本文算法的地图生成结果。

顶部图像是本地地图，蓝色汽车表示自动驾驶车辆的位置。

底图是全局图中同一区域。

图5实时LiDAR扫描生成的语义图。

场景中的黑色区域表示未知区域，这些区域没有被LiDAR传感器检测到。

图6将二维语义图像反投影到具有平面假设的三维空间中生成的语义图。

在车辆框架中呈现的地图。线的失真表示故障情况。

图7生成的地图（左下角)、地面真相标签(右下角)和雷达点云图(顶部)的可视化）。点云图已根据其强度值进行阈值化。任何强度低于某一阈值k的点都被丢弃。有了这个门槛，我们可以清楚地看到道路上人行横道和车道标志的布局。

图8生成的地图的BEV版本在我们测试数据集的整个区域。

语义地图显示在密集点云地图的顶部。

实验结论

通过融合来自图像帧上语义标签的丰富信息与人工标注地图的比较表明，这项工作有效地引入了一种用于识别道路特征并在三维空间中进行定位的统计方法，可用于自动标注人行道、车道线、可行区域等。这些特性可用于独立于预定义的HD地图格式用于生成HD地图，并扩展了通常用于路径跟踪算法的中心车道标识。

虽然所提出的技术组合可以潜在地解决HD地图的可拓展性缺点，但它们也提出了关于高级别动态规划的新研究领域。