0. 这篇文章干了啥？
车道检测是任何自动驾驶系统中的基本任务，需要推理标记车道的形状和位置，对于路径规划、车辆转向和自动系统的车道保持非常重要。它在计算机视觉领域得到了广泛研究。给定道路场景的图像，车道检测的目标是以尽可能高的准确度估计车道标记的位置。现有的车道检测方法侧重于开发具有判别性的特征表示，以分类每个像素是否表示车道并将其分配给其相应的实例，或者显式地从预定义的提议中学习并执行检测任务，两者均以监督的方式进行。
然而，车道检测仍然面临一些挑战，包括与数据可用性和跨域泛化相关的问题。现实世界的驾驶场景经常由于不同的摄像头传感器、道路类型、照明变化和背景杂乱而发生剧烈变化。例如，在美国西海岸收集的数据上训练的车道检测器可能会在伦敦皮卡迪利广场检测车道时出现问题。这严重限制了它们的可扩展性。一个天真的解决方案可能会解决这个问题，但会需要更多关于不同类型道路的数据，并且即使在遮挡场景中也要有准确的注释，这不可避免地会增加注释成本。
在这篇文章中，作者研究了一种自监督学习策略，称为 LaneCorrect，来解决上述问题。传统的无监督学习方法尝试通过使用手工设计的特征和曲线拟合（例如霍夫变换和B样条拟合）来检测车道，但效果不佳。作者建议利用大规模激光雷达点云以无监督的方式检测嘈杂的车道标记。路标涂料的特殊材料总是设计成反射足够的车辆灯光，即使在光线不足的情况下也能看到。在激光雷达点云中，裸露的路面和车道标记之间还显示出明显的反射差异。利用车道周围的这种反射率失真，可以通过使用DBSCAN和RANSAC从3D点中提取候选车道实例，然后通过投影3D点来预测2D图像平面上的车道。可以使用这种嘈杂的车道预测作为伪标签来训练一个天真的车道检测器。然而，嘈杂的标签可能会影响学习到的车道检测器的质量。因此，作者开发了一种自监督算法，利用车道线的几何对称性并减少嘈杂标签的扰动。鉴于低密度分离假设背后的几何一致性，即相同集群的数据点可能是相同决策边界的，使用RGB图像和其嘈杂标签线索训练了一个自监督车道校正模型（LaneCorrect），产生一个没有任何地面真实注释知识的校正标签。由于归纳几何对称性是车道注释的固有特性，同一车道标签的多个扰动可以看作是应用于同一无噪声注释的多个加性高斯噪声。
具体来说，作者用两种不同的增强扰动扰动原始伪标签，并使网络能够训练和运行为具有一致性损失的校正。两个预测都由网络校正，所以一个预测可以被用作另一个预测的标签，反之亦然。为了避免崩溃到微不足道的解决方案，还添加了重建损失。此外，车道掩码池化后跟随对比损失在特征表示中增加了实例相似性学习。通过自监督预训练模型，我们将其精炼到训练学生网络上，该网络专用于在任意目标车道检测数据集上预测车道，而不使用任何注释。注意，在推断阶段是不依赖激光雷达的，LaneCorrect模型的嘈杂标签输入来自车道检测器的预测。
下面一起来阅读一下这项工作~
标题：LaneCorrect: Self-supervised Lane Detection
作者：Ming Nie, Xinyue Cai, Hang Xu, Li Zhang
机构：复旦大学、华为诺亚方舟
原文链接：https://arxiv.org/abs/2404.14671
车道检测已经发展成高度功能的自动驾驶系统，能够理解驾驶场景，甚至在复杂环境下也能运行。本文致力于开发一种通用的计算机视觉系统，能够在不使用任何注释的情况下检测车道。我们做出了以下贡献：(i) 我们说明了如何通过利用激光雷达点云帧上的车道独特强度来执行无监督的3D车道分割，然后通过投影3D点在2D平面上获得嘈杂的车道标签；(ii) 我们提出了一种新颖的自监督训练方案，名为LaneCorrect，通过从对抗性增强学习几何一致性和实例感知来自动校正车道标签；(iii) 使用自监督预训练模型，我们进行蒸馏以训练一个学生网络，用于任意目标车道（例如，TuSimple）检测，而无需任何人工标签；(iv) 我们对我们的自监督方法在四个主要的车道检测基准上进行了彻底评估（包括TuSimple、CULane、CurveLanes和LLAMAS），并展示了与现有的监督对应方法相比的出色性能，同时在减轻域差异方面表现出更有效的结果，即在CULane上进行训练，然后在TuSimple上进行测试。
无监督车道检测方法与有监督替代方案的比较。(a) 是有监督方法，它依赖于人类注释作为监督。(b) 是LaneCorrect，它利用点云首先生成嘈杂的车道线索，并以自监督方式训练车道校正网络。
上面一行是在TuSimple上的性能，下面一行是在LLAMAS上的性能。其余中间行是CULane的定性结果。对于每一行，从左到右分别是:输入图像、地面实况、监督对应的结果和LaneCorrect。
（i）展示了激光雷达视图可以用作车道检测的伪标签，并提出了一种无监督的3D车道分割方法来预测这种嘈杂的伪标签；
（ii）通过从不同的增强中学习一致性和实例感知，制定了嘈杂车道校正模型的新型自监督训练方案；
（iii）通过自监督预训练模型，将其精炼到训练学生网络上，该网络专用于在任意目标数据集上预测车道，而不使用任何注释；
（iv）对四个主要车道检测基准进行了大量实验，表明模型在与经过预训练的有监督竞争对手（在ImageNet上预训练）相比表现相当，并且在缓解领域差距方面表现优越，即在CULane上进行训练并在TuSimple上测试。
LaneCorrect策略的概览。它首先将同步的2D图像和3D LiDAR帧作为输入。通过提出的无监督3D车道分割算法，从3D点云中提取候选车道实例，然后将其投影到2D图像平面上作为伪标签。接下来，考虑到上述方法生成的伪标签具有特定的噪声（例如，投影误差），训练了一个自监督车道校正网络（SLC）来减少伪标签的噪声。最后，提取SLC模型来训练目标域上的学生车道检测器，执行车道检测任务而无需任何注释。最佳观看颜色和车道实例号。LaneCorrect由两个协作网络组成，即在线SLC（通过梯度下降更新）和目标SLC（通过移动平均更新），以一致地纠正嘈杂的注释。在训练过程中，伪车道注释的两个不同增强视图与图像连接，并输入在线和目标分支，其中输出被收集用于一致性正则化和实例相似性学习。在一致性正则化中，两个分支的预测车道被限制为映射到唯一无噪声的车道位置。在实例相似性学习中，采用多目标对比学习来确保优越的车道表示能力。在测试过程中，仅使用在线SLC来预测精炼的车道。
伪标签精炼和蒸馏的管道。为了使SLC能够端到端推理并更好地对齐下游数据集，提出了一种以蒸馏形式的伪标签精炼方法。
在大规模Waymo Open数据集上预训练LaneCorrect，它包含同步的LiDAR帧和2D图像。为了评估我LaneCorrect并进行公平比较，在目标域上对SLC网络进行蒸馏，以训练一个可以直接在测试集上评估的学生车道检测器。在自监督预训练SLC模型的帮助下，域间差距得到了缓解。注意，在推理阶段不引入LiDAR数据，也不包括ImageNet预训练模型在LaneCorrect中。只有监督对应项使用在ImageNet上预训练的骨干网络进行比较。
在TuSimple基准上，在表3中报告了准确度和F1分数。正如所示，强监督方法与LaneCorrect之间的差距相当小。特别是，LaneCorrect在F1分数方面达到了92.91%的显著结果，而监督对应项在F1分数方面达到了95.07%。比较结果表明了LaneCorrect的效率。
在CULane上的结果可以在表4中看到。LaneCorrect总体上实现了55.7%的F1分数。LaneCorrect模型在CULane（在北京收集）上遇到了比在TuSimple（在美国收集，与Waymo类似）更为明显的域差距。尽管自监督源域与目标CULane数据集之间存在显著的域差距，但带有SLC网络的无监督方法相对于其强监督对应项，没有触及任何真实情况，却达到了合理的F1分数。比较结果还表明，SLC网络显著改善了LaneCorrect的无监督方法，并能有效地减轻域差距。
在LLAMAS上的性能显示在表5中，LaneCorrect仅使用LLAMAS训练图像进行训练，并在验证集和官方测试集上进行评估。正如结果所示，LaneCorrect在测试集上实现了89.75%的F1分数，在验证集上实现了91.29%的F1分数。值得注意的是，我们的无监督车道检测框架在LLAMAS验证集上优于监督方法。主要原因之一是LLAMAS数据集是由高分辨率地图和其投影自动注释的无监督数据集。由于不确定性误差和投影偏差，有时生成的注释是不正确的，这会损害车道检测器的性能。
从可视化结果中，可以看到无监督方法LaneCorrect能够在错误标记的情况下表现良好。CurveLanes的表现如表6所示。正如结果所示，LaneCorrect在F1分数上实现了60.39%的合理结果，与监督方法相比。
作者展示了 LiDAR 视图对车道实例的利用，可以作为车道检测任务的伪标签。提出了一种新颖的自监督训练方案，用于自动纠正带有一致性和对比度表示学习的嘈杂伪注释。为了进行车道检测，将预训练的校正模型精炼到任意目标车道基准上的学生车道检测器上，而不触及其地面真实值。LaneCorrect在四个主要基准上达到了与现有监督对应模型相媲美的性能，并且在域自适应设置上表现出了优越的性能。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉工坊交流群
目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：
2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等
工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机：四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。
3D视觉工坊知识星球
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。