OpenREALM ：基于视觉SLAM和三维重建的无人机实时空中测绘

点击上方“3D视觉车间，选择星标

第一时间送达干货

作者泡泡机器人

来源泡泡机器人SLAM

标题：OpenREALM: Real-time Mapping for Unmanned Aerial Vehicles

作者：Alexander Kern, Markus Bobbe, Yogesh Khedar, Ulf Bestmann

机构：Technische Universit?t Braunschweig

来源：ICUAS 2020

编译：龚坤

审核: 高翎

摘要

大家好，今天的文章是OpenREALM: Real-time Mapping for Unmanned Aerial Vehicles

本文提出了基于无人机的一种(UAV)实时建图框架OpenREALM。利用无人机机载计算机上的照相机获取目标感兴趣区域的高分辨率图像。允许使用不同的操作模式OpenREALM为了提取高程图和几何校正的正射图像，在近似平面地面下进行简单的拼接或完全恢复复杂的三维表面信息。此外，数据还利用无人机的整体位置进行地理推理。在所有模式下，地面操作员可以现场查看结果地图的施工进度。最新的表面信息将促进各种无人机应用。

Github：https://github.com/laxnpander/OpenREALM

文章：https://arxiv.org/abs/2009.10492v1

主要工作和贡献

目前，大多数框架只是在无人机飞行后捕获的所有图像中绘制和测绘，这显然不是最好的。不可能在任务期间干预所获得的数据，尽管理论上所有的数据都是可用的。从任务开始到最终确定整个地图的总时间可能需要几个小时，这在搜索和救援场景中是不可接受的。

因此，我们提出了一个框架，它能够读取无人机稳定摄像机获得的连续图像流，并且它提供了三种不同的操作模式：

1)基于GNSS定位与实时图像拼接生成2D地图；

2)基于GNSS生成2定位和实时图像D估计地图和视觉姿势；

3)基于GNSS定位和GPU估计加速立体重建的视觉姿态生成2.5D数字高程模型。

模式(1)设计用于大疆产品等现成硬件。计算出的地图仅依赖于GNSS将图像与标题信息对齐成全局地图。然而，它也适用于创建一个无特征或高度动态的区域。模式(2)和(3)需要适合视觉姿态估计的高帧率相机。模式(3)中的输出包括摄像机运动的估计、每个视图的深度图、高程图(正射图像)和观测场景的密集三维点云图。

(a)结果是几何校正后实时更新的正射影像

(b)地面表示由三维点云数据生成的高程图。用概率法识别高噪声数据区域并删除。

算法流程

1.相关工作

算法ROS框架

图2.显示了三个不同层的总体设计。

第一层是通过机器人操作系统(ROS)实现的传输层。在航空映射场景中，至少有两种不同的处理设备，种不同的处理设备，捕获的数据由带有GNSS图像组成的信息。

第二层是包含过程控制算法的阶段层。每个阶段都被包装，交换只通过相应的方式进行ROS在一个方向上产生节点。这样，一个阶段的输出将成为以下阶段的输入。

姿态估计

如图3所示。一开始，它为支持框架创建了可视化SLAM接口。现在可以了ORBSLAM2、DSO或SVO，这取决于从接口到实际输入帧的初始参数SLAM实现从而估计摄像机姿态矩阵M。M它被定义为从相机到世界帧的转换。如果跟踪成功，模块试图使用视觉和GNSS位置识别从局部、视觉到全局、地理坐标系统的转换。在估计误差低于一定阈值之前，可能会等待一组初始测量。对视觉和GNSS所有帧都在轨道后发布。

如果视觉SLAM由于水或平面场，框架无法跟踪当前帧，状态切换为丢失，不设置视觉姿势。为避免映射过程完全失败，可使用计算备用解决方案：

φ无人机自带的姿态，t为GNSS无人机坐标，

只有当相机面对地面时，才能假设这种替代姿势是稳定的。

稠密建图

在前一阶段，在地理坐标系中计算当前输入帧的摄像头姿态。这种姿势可以直观地估计，只能基于GNSS和视觉信息。前者精度高，但在无特征区域缺乏鲁棒。另一方面，后者通常可以计算，但不确定性很大。在致密阶段，根据图3中的工作流程，只使用具有视觉估计姿态的帧来重建观测表面密集的三维点云。

首先，检查输入帧的适用性。若将姿态识别为视觉估计，则创建初始化深度地图。根据所选择SLAM将一组帧传输到重建接口的端口。反过来又提供了类似于姿势估计阶段的可视化SLAM界面，集成最先进的重建框架的可能性。目前只合并PSL。密集重建后，将深度图投影到三维点云中，并覆盖以前存在的任何稀疏点。

纹理生成

在前一阶段，估计所有处理帧的地理参考姿态。这可以基于使用视觉SLAM基于先验的图像数据或图像数据GNSS位置和姿势。然后，只生成和投影那些具有视觉估计的态度深度图的帧，并投影到密集的点云中。因此，在后续阶段必须处理三种不同类型的帧：

1）GNSS位置帧、固定姿势、无点云(如果视觉姿势估计失败)帧；

2)视觉估计帧、精确姿态和稀疏点云(只有密度失败)；

3)视觉估计帧、精确姿态和密集点云帧(如果所有阶段都成功)；

在曲面生成阶段，评估了当前输入帧的所有数据，并提出了数字曲面模型。并使用简单的平面或2.5D高程图描述观察到的场景。但人们不仅关注海拔高度，还关注表面法线和观测角度。为此，一个有效的结构是有益的，因为它将一个特定的地理位置与所有信息紧密结合。范克豪瑟[18]开发的开源库网格地图源库网格地图。它由一个感兴趣的区域和一个地面采样距离组成(GSD)来定义的。多层数据可以堆叠，使网格中的每个单元都由多维信息向量组成。对于OpenREALM，我们采用了这个想法，但重新实现了一些模块。

图2纹理生成算法伪代码

正射校正

正射校正阶段的目标是利用之前估计的表面模型和相机姿势来纠正由视角和表面结构引起的图像的视觉失真。在最好的情况下，由此产生的正射影分辨率很高，所以感兴趣的点（如人类、汽车、…）很容易检测到。Hinzmann等出了两种不同的方法来实现这种校正：

1)基于点云的正投影(正投影)

2)基于网格的正投影(向后投影)

方法(1)计算时间最低，对重建的密点云依赖性强。特别是点云上的孔洞造成的区域覆盖范围较小。方法(2)将观测场景的高程保存为2.5D网格图可视为具有浮点数据而非强度值的常规单通道图像。因此，它也可以有效地调整大小到任何必要的分辨率，就像一个常规的图像一样。总之，空间分辨率和纹理分辨率可以作为两个独立的参数来处理。空间分辨率主要取决于致密性和表面生成阶段，纹理是独立的，可以设置为仅限于原始图像分辨率的选择值。如果映射入图像明显大于多视图重建所能处理的图像，则特别有用。因此，为了实现，选择了基于网格的正射校正技术。

图4.在正射校正期间，初始网格图被调整到最大预期。GSD。

图像与点云拼接

从正位校正阶段接收第一帧，全局映射初始化。之后，新帧被称为地图更新前者直接写入全局地图。但后者提取为两个子地图，只描述各自数据的重叠(全局地图重叠区或地图更新重叠区)。在下一步中，计算最能描述子映射每个网格元素的混合值。混合区域最终被写成全拼接。

对于网格单元的混合，可以应用各种策略。本文选择了概率法。潜在的问题陈述可以概括为有两个不同的假设，那么选择哪一个呢？”。为了决定这个基本问题，在全局地图上又添加了三层，即“海拔方差”、“海拔假说”和“观测数”。一旦地图更新到达，新高程的临时浮动平均值将计算在重叠区域的每个单元中。

图5.自定义数据集的概述。A、B和C中显示无人机视角图像，由于缺乏或模糊，对视觉算法具有挑战性。

实验结果

1.视觉SLAM测姿的准确度

（a）绘制了ORBSLAM2（蓝色）和

Agisoft Metashape（虚线）的轨迹。整体对齐效果很好，特别是在x轴和y轴上。差异最大的是za轴，它表示重建的深度。

（b）在整个数据集上，ORBSLAM2方法的相对和绝对姿态误差(RPE/APE)。

首先，应该对姿态估计进行评估。高姿态精度是很重要的，因为所有连续的处理阶段都将继承不确定性。作为地面事实，我们使用经典的离线摄影测量软件Agisoft Metashape计算了所有3276张图像的轨迹。作为可视化的SLAM框架，我们将分析限制在ORBSLAM2上。结果如图所示。在a)中，显示了每个轴的平移误差。特别是在xy对齐时，几乎没有可见的位移。另一方面，Z轴等于估计的场景深度，它是使用多个视图几何图形重建的。因此，这个轴应该是最不确定的轴，而且确实可以测量到对地面真相的轻微偏差。在60-100秒之间，无人机的第一个转折点发生，这也是图7中的视觉障碍B。该区域的特征数量较少，明显降低了整体精度。图8b)中的相对姿态误差(RPE)支持这一观点，因为它在转弯前有最高的峰值，并且在转弯之后迅速下降。绝对位姿误差(APE)为0.53m，整体性能良好。

2.纹理表面重构质量

图6.通过OpenREALM重建的网格显示在左侧。为了评价地面真相，用Agisoft计算，并对得到的表面偏差进行颜色编码。边界区域中的红色区域是数据缺失的结果。

我们分析了三维表面重建问题，它被用来生成地面纹理。为此目的，数据集的前端重叠被减少到80%，因此计算时间保持合理(1：45h)。选择了各个阶段的设置，这样处理仍然在硬件上运行，但空间分辨率尽可能高。最终地图中产生的密集云被导出到开源软件“CloudCompare”中。在那里，使用迭代最近点算法(ICP)将其与地面真值对齐，以减少地理参考的影响。然后，将实时创建的密集云的每个点投影到参考网格上。生成的距离由颜色值编码，并显示在其在网格上的各自位置。如上图所示。

使用PSL对提出的实现进行稠密处理。获得的GSD为0.15m/cell。图5c所示的数据集中的混叠效应似乎对重建过程有严重影响。这所房子在3D图像中几乎无法被识别出来。这并不奇怪，因为PSL试图计算每个像素的深度值，尽管三角测量非常不确定。跑道与地面情况很吻合。在地图左上角的平面场，就在转折点之前，有最高的偏差(-1.5到0.5m)。这也是姿态估计显示出显著偏移的区域。因此，第一阶段的初始误差很可能已经传播到交叉处。总而言之，结果是可以改进的，但重要的是要记住，OpenREALM的处理时间是实时的，相比之下，就算快的软件也需要花几个小时。

图7.OpenREALM的不同操作模式与Agisoftmetashape提供的地面真值（左）相比。第一个左图使用ORBSLAM2进行对比视觉姿态估计。然而，没有进行三维重建。右图显示了本文方法，它提供了一个2.5D高程图以及真正的矫形影像。。最后一个图显示了纯粹基于无人机的GNSS位置和航向对齐获得的图像所生成的地图。

3.总结

我们提出了一种无人机的实时测绘框架。不同的操作模式使用户能够执行基于GNSS或视觉SLAM的图像拼接，或者完全重建三维表面并提取几何校正的正射影像。今后工程的表面质量有待进一步提高。目前，SLAM和三维重建的实现并没有为航空测绘场景而设计和优化。因此，在这一领域的进一步研究应大大提高研究结果。此外，为基准测试建图框架提供一个公共数据集可能会推动未来的进展。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~