用于自动驾驶的混合稀疏-稠密单目SLAM系统

点击上面的计算机视觉车间，选择星标

第一时间送达干货

作者口香糖泡椒味

来源丨GiantPandaCV

0. 引言

随着自动驾驶系统的推广，越来越多的应用需求SLAM具有高动态定位和密集施工能力。在论文"A Hybrid Sparse-Dense Monocular SLAM System for Autonomous Driving"作者提出了一种混合稀疏特征和密集建筑图SLAM并使用系统UnRectDepthNet单目相机的深度估计。算法开源很重要。

1. 论文信息

标题：A Hybrid Sparse-Dense Monocular SLAM System for Autonomous Driving

作者：Louis Gallagher, Varun Ravi Kumar, Senthil Yogamani, John B. McDonald

来源：2021 Computer Vision and Pattern Recognition (CVPR)

原文链接：https://arxiv.org/abs/2108.07736

代码链接：https://github.com/robotvisionmu/DenseMonoSLAM

2. 摘要

本文介绍了安装在移动车辆上的单目相机，逐步重建室外环境几何图形的密集3D模型系统。致密模型提供了丰富的环境表达，有助于更高层次的场景理解、感知和规划。

我们的系统采用密集的深度预测和混合构图架构，将基于稀疏特性和密集融合的最先进的视觉结合在一个集成框架中SLAM算法。

我们的新贡献包括混合稀疏密度相机跟踪和回环设计，以及密度深度预测中的尺度估计改进。我们使用稀疏方法的运动估计来克服典型的大而可变帧间位移。然后，我们的系统使用整体图像对齐来匹配活跃图像和密集模型。这使得实时帧和密度深度预测能够集成到模型中。稀疏和稠密模型之间的整体一致性和对齐是通过将稀疏方法的姿态约束直接应用到稠密模型的变形中来实现的。我们提供了轨迹估计和表面重建精度的定性和定量结果KITTI数据集的竞争性能。方法的定性结果可以https://youtu.be/Pn2uaVqjskY查看。

3. 算法分析

如图1所示，作者提出的混合物SLAM框架原理采用混合方法进行密集的单目跟踪和构图。首先，基于特征点的方法ORB-SLAM3.为每帧提供相机姿势的初步估计。然后，系统遵循密集的交替架构，扩展ElasticFusion。

首先保持地图固定，并使用上一步的初始姿态估计值跟踪相机。一旦估计了相机的姿势，将当前帧集成到地图中。作者使用SOTA自监督卷积累神经网络UnRectDepthNet深切预测深度估计。此外，各种子系统在不同的处理器上运行：稠密交替和深度预测网络使用GPU运行，而ORB-SLAM3在CPU上运行。作者提出的混合结构总结如下：

(1) 用于估计每帧测量深度图的深度预测网络。同时，使用ORB-SLAM基于特征的跟踪算法对相机运动进行初步估计，适用于车辆的快速运动。

(2) 通过对相机视野中当前活跃模型的初始姿态估计，进一步细化初始姿态估计。

(3) 实时RGB图像和相应的预测度深度图集成到场景的整体密度模型中。根据原始EF算法，surfel模型分为活动和非活动部分。

(4) 当ORB-SLAM当识别闭环时，使用它EF变形图中的结果是封闭的，以纠正致密表面的几何形状。这使得之前访问的地图的非活动部分与当前活动部分重新对齐。重要的是，这也使得ORB-SLAM和EF不同的地图与相机轨迹一致。

图1 混合SLAM框架概述

作者的主要贡献总结如下：

(1) 开发单目SLAM该算法可应用于室外环境中的移动车辆。据作者介绍，这是第一个在自动驾驶场景中定量评估的完全致密性SLAM系统。

(2) 在混合结构中使用了密集的深度预测网络，结合了基于稀疏特征的最先进的视觉跟踪和密集融合SLAM算法。SLAM在应用中增加新的正则化损失和更好的规模估计。

(3) 采用稀疏方法的运动估计可以克服室外车辆场景中典型的大可变帧间位移，然后将实际图像与致密模型匹配对齐。稀疏模型和致密模型之间的整体一致性和对齐是通过将稀疏方法的姿态约束直接应用于致密模型的变形中来实现的。

(4) 在KITTI该方法在基准数据集中进行了评估，提供了轨迹和表面重建精度的定性和定量结果。

3.1 尺度感知深度估计

基于UnRectDepthNet作者为自我监督的深度估计建立了相同的网络SFM框架。视图合成采用针孔相机投影模型，最终目标采用光度项*L~p~边缘平滑正则项L~s~组成。采用了跨序列深度一致性损失L~dc~*规模恢复方法。

此外，通过结合自动编码器获得场景的全局特征，设置差异损失*L~dis~以及收敛损失L~cvt~。L~dis~和L~cvt~*主要目标是防止优化目标被困在天空、道路等低纹理区域的几个局部最小值。最终总目标深度为:

此外，模糊尺度是单目深度估计中的一个具有挑战性的问题。因此，需要一个绝对值作为锚点，即通过测量另一个特殊传感器来获得实际的深度估计。

作者在正文中使用Velodyne点云与校准信息相结合，以提高规模估计。并使用它Velodyne激光雷达作为一个真实值，通过将计算与图像平面上的正确像素相关联来估计比例因素，从而减少损失。此外，作者假设训练和测试数据集之间的深度一致性可以帮助具有高姿态可变性的数据集。

3.2 基于特征的ORB-SLAM3-RGBD跟踪

ORB-SLAM3建立场景稀疏地图，用共视图表示。共视图中的每个节点对应一个位置和一组3的关键帧D点组成。当两个关键帧之间存在共视关系时，它们之间的一边将添加到共视图中。ORB-SLAM主线程主线程。从相机接收跟踪线程RGB-D帧，提取ORB特征，使用前一帧只定位BA估计初始姿态。

通过将当前帧与可见关键帧的局部图对齐，进一步细化估计。检测到新的关键帧并将其发送到建图线程。在这里，新关键帧附近的局部地图通过全局BA优化。回环检测使用DBoW如果新关键帧与匹配关键帧之间的几何对齐成功，则形成回环，并在图形中添加两个关键帧之间的边缘。严格将关键帧附近的局部地图改为适当的位置。关键帧图的其余部分采用姿势图优化进行校正。执行最终全局BA恢复所有关键帧姿态和结构MAP估计。

3.3 跟踪混合相机

在混合系统中，首先将RGB传递给预测得到的深度图和深度图ORB-SLAM，计算相机位置的初始估计。之后，需要平衡位置的准确性，与密集模型对齐，然后准确地集成关键帧。为了使相机与模型重新对齐，作者将位置帧细化到模型。

位置周围的活跃地图被渲染成位于位置的虚拟相机。然后，在嵌入3级图像金字塔的非线性最小二乘中，估计实时帧到虚拟帧的6自由度齐次转换矩阵。位置合成转换可以为当前帧产生准确的位置估计。

3.4 混合回环

如图3所示，混合回环有两个目标:(1) 调整稠密表面的几何形状以与现实世界保持一致；(2) 保持密集的地图和ORB-SLAM稀疏建筑图纸与相机姿势估计一致。它还平衡了对这种一致性的需求和修正厚几何的计算强度。

图2 回环示例

(i) 汽车开始探索(绿色箭头)；(ii) 一段时间后，汽车以前绘制的区域与当前位置之间的回环；

(iii) 漂移在应用回环之前很明显；(iv) 模型的活动部分(绿色)偏离了模型的非活动部分(灰色)；(v) 地图的活动部分与非活动部分对齐；(vi) 触发回环，重新激活用于构图和跟踪的部分；(vii) 最终的全局模型

4. 实验

作者主要在KITTI对轨迹估计和表面重建的精度进行了测试。系统运行的硬件条件是i7?7700K CPU、16GB内存和NVIDIA GTX 1080Ti GPU。

4.1 KITTI-跟踪

作者展示了KITTI数据集中序列01、02、06、08、09和10的结果，其余用于深度预测网络的训练。对于每个测试序列，长度从100米到800米的序列的相对平移误差。表1显示了实验计划和ORB-SLAM2以及D3VO对比结果。

实验表明，使用密度深度预测和ORB-SLAM(O)的RGBD在模式下，可使用单目相机进行精确的测量尺度相机跟踪。引入混合跟踪时(H)，它允许当前帧融入模型。引入混合回环(H L)有助于恢复稀疏和密集的模型，并减少模型和轨迹中的全局误差。此外，由于结构很少的场景会导致深度预测和相机跟踪的退化，因此序列01是一个重要挑战，图3显示了这个序列的定性结果。

表1 KITTI数据集上的相对平移误差

图3 KITTI数据集01序列的定性结果

4.2 KITTI-表面重建

作者从KITTI数据集中评估了表面重建精度。由于KITTI不包括表面真值，作者将其与每个序列的Velodyne点云构建的模型进行比较。表2中显示了估计模型中的点与Velodyne点云中的最近点之间的表面到表面的平均距离。在计算分数之前，这两个模型都是严格对齐的。

表2 KITTI数据集上的表面精度

4.3 系统资源使用

在图4中，作者展示了KITTI数据集中序列09的帧处理时间的细分。建图时间(蓝色)根据surfel数量(紫色)增加。该系统运行在8−9 Hz之间，序列末端的峰值是由于一个全局回环产生的。表3显示了在KITTI特征分割测试集上的运行性能的分布。

图4 系统所花费的时间的细分

表3 KITTI特征分割的测试序列上的分布

4.4 KITTI-深度估计

如表4所示，作者使用了KITTI特征分割上的深度估计设置。结果显示，作者提出的方案优于之前所有的单目自监督方法。根据最佳实践，作者将深度限制在80米，并使用改进的深度图真值进行评估。如图5所示是在KITTI数据集上的轨迹和稠密重建结果。

表4 对改进的KITTI特征分割的深度估计的评估

图5 KITTI数据集上的轨迹和稠密重建结果

(a) 作者提出系统产生的最终模型 (b)与轨迹真值的对比 (c)车辆十字路口时重建的近距离图

5. 结论

在2021 CVPR论文"A Hybrid Sparse-Dense Monocular SLAM System for Autonomous Driving"中，作者提出了一种将稠密深度预测、稀疏特征跟踪和稠密叠加融合技术相结合的混合SLAM系统。该系统允许在自动驾驶场景中使用单目相机对室外场景进行实时稠密的度量重建。稀疏跟踪提供了相机姿态估计，能够在车辆速度下鲁棒地运行。所得到的姿态用于稠密融合跟踪步骤中，以初始化整个图像对齐细化过程。

通过视觉位置识别和稀疏系统的姿态约束来保持模型的全局一致性，并将其传递到稠密融合算法，与基于变形图的地图校正步骤集成。该系统是第一个基于稠密单目融合的视觉SLAM系统。此外，作者提到，虽然该文章的重点是自动驾驶，但通过对深度预测网络的再训练，该系统可以很容易地适应其他场景。

本文仅做学术分享，如有侵权，请联系删文。

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

计算机视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

16.基于Open3D的点云处理入门与实战教程

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~