作者：Yifu Tao（一作授权） | 编辑：3DCV
添加微信：dddvision，备注：3D高斯，拉你入群。文末附行业细分群
这篇论文做了啥？
NeRF作为新兴的三维重建范式，有强大的新视角渲染能力，但是在无纹理表面与有限多视角约束条件下的几何精度有限；纯激光雷达方案能获得精确几何测量，但是同时数据也更加稀疏，这不利于巡检等机器人应用。
这篇文章提出了一个融合了激光雷达和多鱼眼相机的大场景三维重建系统，名为SiLVR。该系统以NeRF为基础，引入了来自激光雷达的深度与表面法向量约束，能在低纹理的表面依旧得到精确并平滑的三维模型。本系统搭载在无人机与四足机器人上，融合了多鱼眼相机和激光雷达SLAM, 对在线SLAM轨迹进行光束优化（BA)并生成子地图（submapping)从而实现室外大场景重建。
论文信息
标题：SiLVR: Scalable Lidar-Visual Reconstruction with Neural Radiance Fields for Robotic Inspection
作者：Yifu Tao, Yash Bhalgat, Lanke Frank Tarimo Fu, Matias Mattamala, Nived Chebrolu, Maurice Fallon
机构：牛津机器人研究所
原文链接：https://arxiv.org/abs/2403.06877
项目主页：https://ori-drs.github.io/projects/silvr/
摘要
我们提出了一种基于神经场的大规模重建系统，该系统融合了激光雷达和视觉数据，生成了有精确几何形状且具有逼真纹理的高质量重建结果。该系统将最先进的神经辐射场（NeRF）表示进行了改进，整合激光雷达数据并获得深度和表面法线，从而为NeRF添加了强大的几何约束。我们利用实时激光雷达SLAM系统的轨迹来初始化Structure-from-Motion 过程，以显著降低计算时间，并提供对激光雷达深度损失函数至关重要的尺度信息。我们利用子地图技术将系统扩展到大规模环境。我们通过多相机、激光雷达传感器套件搭载在多个机器人平台，包括四足机器人，手持设备扫描建筑场景并行走600米以上，以及搭载在无人机上调查多层模拟灾害建筑场景的数据。
效果展示
作者使用了包括波士顿动力Spot与大疆M600在内的机器人收集了三个数据集。每个数据集的参考三维模型使用的是毫米精度的Leica BLK360. SiLVR能同时获得纯激光雷达方案的精度，同时使用相机来获得更完整的重建与逼真的纹理。
原理与方法
硬件与系统
感知模组包括禾赛QT64, 三个AlphaSense 鱼眼相机与IMU, 搭载在波士顿动力Spot和大疆M600上。激光雷达点云生成深度图与表面法向量后与在线SLAM系统一同输入到SiLVR系统进行光束优化(BA)与子地图生成，然后训练视觉与激光融合的NeRF。
激光雷达对NeRF的几何约束
本文通过激光雷达分别生成深度图与法向量图，通过可微逆渲染来优化NeRF. 深度信息可以用来让光束上的采样点集中在激光雷达的测距；这能使图中低纹理的地面获得正确的高度；激光雷达可以通过平面拟合来获得表面法向量，从而使得NeRF重建的表面更加的平滑。
巡检场景下的多相机系统
NeRF依赖于多视角的观测，但是在巡检任务重机器人往往只能直行。在此等轨迹下，单相机系统的的几何约束有限，重建精度低；本文使用了多鱼眼相机的平台，能在直线轨迹下依旧获得精确的三维重建。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉精品课程：
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪。
3D视觉学习圈子
3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括：星球视频课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。
3D视觉交流群
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机等方向，细分群包括：
工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机：四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。