ORB-SLAM: a Versatile and Accurate Monocular SLAM System

A. 位置识别

Williamset等人[13]的调查比较了几种位置识别方法，得出结论：基于外观的技术，即图像与图像的匹配，在一般环境下比地图到地图或图像到地图的方法更大。在基于外观的方法中，词袋技术[14]，如概率方法FAB-MAP[15]因其高效率而脱颖而出。DBoW2[5]首次使用从BRIEF描述子[16]中获得的二进制单词向量，以及非常高效的FAST特征检测器[17]。以及目前在词袋中使用的词袋SURF[18]和SIFT[19]特征相比，这在几个数量级上减少了特征提取所需的时间。虽然该系统被证明是非常高效和鲁棒的，但由于使用不具有旋转和尺度不变性BRIEF该系统仅限于从相似的角度进行平面轨迹和闭环检测。在我们之前的工作[11]中，我们提出了一个基础DBoW2和ORB[9]字袋位置识别器。**ORB是对旋转和尺度（在一定范围内）具有不变性的二进制特征，因此是具有良好的视角不变性的快速识别器。**从10开始，我们将识别器的高召回率和鲁棒性集中在四个不同的数据上K在图像数据库中检索候选图像不到39ms(包括特征提取)。在这项研究中，我们使用改进的位置识别器，使用共视信息，并在查询数据库时返回多个假设，而不仅仅是最佳匹配。

B. 地图初始化

单目SLAM创建初始地图需要一个过程，因为深度无法从单个图像中恢复。一种解决这个问题的方法是跟踪已知结构[20]。逆深度参数化可用于过滤方法的情况下（inverse depth parameterization）[21]初始化高度的深度不确定性，希望稍后收敛到其真实位置。Engelet al.[10]最近的半密度工作采用了类似的方法，将像素深度初始化为高方差的随机值。

两个视图的初始化方法要么假设局部场景的平面[4]和[22]，并使用Faugeras和Lustman[23]恢复相对相机位置或使用[23]的方法Nist计算平面和一般场景的基本矩阵[24]和[25]的五点算法需要多个解。这两种重建方法对低视差没有很好的约束。如果平面场景的所有点都靠近其中一个相机中心，就会出现双重歧义[27]。另一方面，如果你看到视差的非平面场景，你可以使用8点算法[2]来计算唯一的基本矩阵，并在没有歧义的情况下恢复相机的相对位置。

在第IV在节日期间，我们提出了一个新的基于平面场景的单应矩阵与非平面场景的基本矩阵之间的自动化方法。Torr等人[28]提出了模型选择的统计方法。基于类似的原理，我们开发了一种启发性的初始化算法，考虑了在近似退化（即平面、近平面和低视差）中选择基本矩阵的风险，并倾向于选择单应矩阵。为了安全操作，如果解决方案具有双重歧义性，我们将避免初始化，因为我们可能会选择错误的解决方案。在这种方法产生视差明显的唯一解之前，我们将延迟初始化。

C. 同时定位和构图单目

图1

系统的主要设计思想之一是将建图和跟踪所使用的相同特征用于位置识别，实现帧速率的重定位和闭环检测。这使得我们的系统效率更高，并且避免了像以前的工作[6]，[7]那样，需要从近SLAM特征中插入识别特征的深度。我们需要特征在每幅图像的提取时间远小于33毫秒，这就排除了流行的SIFT(∼300毫秒)[19]，SURF(∼300毫秒）[18]，或最近的A-KAZE(∼100毫秒）[35]。为了获得通用的位置识别能力，我们需要旋转不变性，这排除了BRIEF[16]和LDB[36]。

我们选择了ORB特征点，它是一种具有256位关联二进制描述子的多尺度FAST角点。它的计算和匹配速度非常快，并且对视角具有良好的不变性。这使得在系统中可以在宽基线情况下来匹配它们，从而提高BA的准确性。我们已经在[11]中展示了ORB用于位置识别的良好性能。虽然我们当前的实现使用ORB，但提出的技术并不局限于这些特征。

我们的系统如上图所示，包含三个并行运行的线程：跟踪、局部建图和闭环矫正。

跟踪线程负责定位每一帧的相机，并决定何时插入一个新的关键帧。我们首先执行与前一帧的初始特征匹配，并使用仅运动BA优化位姿。如果跟踪失败(例如，由于遮挡或突然移动)，则使用位置识别模块执行全局重定位。一旦有了相机位姿的初始估计和特征匹配，使用系统维护的关键帧共视图检索局部可见地图[见图2(a)和(b)]。然后，通过重投影方法搜索当前帧与局部地图点对应的匹配点，并使用所有的匹配关系再次优化相机位姿。最后，跟踪线程决定是否插入新的关键帧。第V节详细介绍了所有跟踪步骤。第IV节介绍了创建初始地图的新过程。

图2

**局部建图线程处理新的关键帧并执行局部BA，以实现相机位姿周围的最佳重建。**在共视图的连通关键帧中搜索新关键帧中未被匹配的ORB特征的新的对应关系，以三角化新的地图点。在生成后的一段时间后，基于跟踪过程中收集到的信息，采用了一种严格的地图点剔除策略来剔除冗余地图点来保留高质量的点。局部建图线程还负责剔除冗余关键帧。我们将在第VI节详细解释所有的局部建图步骤。

闭环矫正线程搜索每个新关键帧的闭环关系。如果检测到一个闭环，则计算一个相似变换来获取在闭环中累积的漂移。然后，将闭环的两侧对齐，并融合重复的地图点。最后，通过相似性约束[6]下的位姿图优化来实现全局一致性。主要的创新点在于，我们对本质图进行了优化，即第III-D节中解释的共视图的稀疏子图。第VII节详细解释了闭环检测和校正步骤。

我们使用在g2o[37]中实现的Levenberg–Marquardt算法来执行所有优化。在附录中，我们描述了每个优化中涉及的误差项、代价函数和变量。

每个地图点$p_i$存储了以下内容：

1. 在世界坐标系下的3D位置$X_{w,i}$
2. 地图点的观测方向$n_i$，为归一化后的平均观测方向（指连接该地图点和其对应观测关键帧光心的的单位方向向量的均值）
3. 一个具有代表性ORB描述子$D_i$，与其他所有能观测到该点的关键帧中的ORB描述子相比，该描述子的汉明距离中值最小
4. 根据ORB特征的尺度不变性获取到的可以观察到这个地图点的的最大$d_{max}$和最小$d_{min}$距离。

每个关键帧$K_i$存储了以下内容：

1. 相机的位姿$T_{iw}$，这是一种刚体变换，将点从世界坐标系变换到相机坐标系；
2. 相机内参，包括主点和焦距
3. 在当前帧中提取的所有ORB特征，可以已经与地图点关联或不关联，如果提供了畸变模型，则其坐标为去畸变后的坐标。

地图点和关键帧是用一个宽松的策略创建的，之后一个非常严格的剔除机制负责检测冗余的关键帧和错误匹配或不可跟踪的地图点。这允许在探索过程中进行灵活的地图扩展，从而提高在恶劣条件下（例如旋转、快速移动）的跟踪鲁棒性，同时其大小在不断重访相同环境（即长期操作）时受到限制。此外，与PTAM相比，我们的地图包含的外点非常少，但代价是包含的点更少。第VI-B节和第VI-E节分别说明了地图点和关键帧的剔除程序。

关键帧之间的共视信息在我们系统的多个任务中非常有用，并表示为无向加权图，如[7]所示。每个节点都是一个关键帧，如果两个关键帧共享相同地图点的观测值（至少15个），则两个关键帧之间存在一条边，边的权重$\theta$为公共地图点的数量。

为了矫正闭环，我们执行了一个位姿图优化[6]，该优化将闭环误差沿图进行分布。为了不包含共视图提供的所有边（可能非常密集），我们建议构建一个保留所有节点（关键帧）但不包含所有边的本质图，仍然保留产生准确结果的强网络。系统从初始关键帧以增量方式构建生成树，该生成树提供具有最少边数的共视图的连通子图。插入新的关键帧时，它将包含在树中并与共享最多地图点观测的关键帧进行链接，并且当通过剔除策略删除关键帧时，系统将更新受该关键帧影响的链接。本质图包含生成树、具有高共视关系（${\theta }_{min}=100$）的共视图的边子集和闭环边，从而形成强大的相机网络。图2显示了共视图、生成树和对应的本质图的示例。如第VIII-E节中的实验所示，在执行位姿图优化时，该解决方案是如此精确，以至于额外的全局BA优化几乎无法进一步提升精度。在第VIII-E节末尾展示了本质图的效率和${\theta }_{min}$的影响。

系统嵌入了基于DBoW2[5]的位置识别模块来实现闭环检测与重定位。视觉词汇是一个离散化的描述子空间，被称为视觉词典。视觉词典通过从大量图像中提取的ORB描述子进行离线创建。如果图像集足够通用，那么同一部视觉词典在不同的环境下也能获得很好的性能。系统增量式地构建一个数据库，其中包含一个逆向索引，该索引存储词汇表中每个视觉单词被观测到的关键帧，因此可以非常高效地查询数据库。当剔除过程删除关键帧时，数据库也会更新。

由于关键帧之间存在视觉重叠，因此在查询数据库时，可能不会存在唯一的高分关键帧。原始DBoW2考虑了这种重叠，将时间相近的图像的分数相加。这有一个限制，即不包括查看同一位置但在不同时间插入的关键帧。取而代之的是，我们将那些在共视图中连接的关键帧进行分组。此外，我们的数据库返回所有关键帧匹配项，这些关键帧匹配项的得分高于最佳得分的75%。

文献[5]报道了将词袋表示用于特征匹配的另一个好处。当我们想要计算两组ORB特征之间的对应关系时，我们可以仅对属于词汇表树中某一层级的同一节点的特征进行暴力匹配，从而加快搜索速度。在搜索匹配以三角化新点、闭环检测和重新定位时，我们使用此技巧。我们还通过方向一致性测试(详见[11])来完善对应关系，该测试丢弃了外点，确保所有对应关系的一致旋转。

地图初始化的目的是计算两帧之间的相对位姿来三角化一组初始的地图点。这种方法应该独立于场景(平面场景或通用场景)，并且不需要人为干预来选择良好的初始化场景，即两帧之间具有显著视差。在系统中并行计算两个几何模型：适用于平面场景的单应矩阵和适应于非平面场景的基本矩阵。然后使用一种启发式方法来选择一个模型，并尝试用一种特定的方法来使用所选模型恢复相对位姿。我们的方法仅在确定两帧视角配置安全时进行初始化，检测到低视差情况和众所周知的两部分平面歧义[27]时，我们避免去初始化一个损坏的地图。我们的算法步骤如下。