SLAM的精度评价标准
时间：2022-12-20 14:00:01
一些问题
- 对算法进度的评价是什么？
- 有什么工具吗？
- “只能靠GPS提供的真实价值：不，有些场景不能使用GPS但还有其他所谓的真值获取方法。.1节
一、定量评价
1.1 获取设备和参考值
在真实场景中录制的数据集一般精度高RTK IMU组合导航设备(室外常用)KITTI动作捕捉系统(常用于室内，如数据集[1])TUM RGB-D测绘领域使用的数据集[2]和激光全站仪(室内外均可使用，但只能直接获得位置，我目前只在EuRoC[3]在数据集上见过)，由于其高精度(如室内动作捕捉系统)，利用这些设备获得传感器系统运动的参考值marker点的位置精度一般为亚毫米级)，激光/视觉SLAM就厘米级精度而言，参考值可视为真值。
所谓软件技术合成的数据集(通常使用游戏引用)|得到引擎渲染)ICL-NUIM[4]和Kimera[5]测试使用的模拟器（忘了具体是啥了)，这直接相当于开了上帝视角，模拟器编程时即可获得传感器位姿，因为拍摄图像的相机、激光雷达等传感器的位置就是开发者给定的，如果你用过
Direct3D/OpenGL/Vulkan等图形API，很容易理解如何根据键盘和鼠标输入调整观察摄像头的视角。
1.2 参考值与估计值的数据关联
与上述参考值(真值)相比，SLAM传感器系统的位置称为估计值。
并通过真值轨迹点SLAM通过时间戳或SE3、Sim三对齐类似ICP方式进行。
1.3 计算单对点误差
这里的单对点是指通过1.2中数据关联获得的一对参考轨迹点和估计轨迹点。评价方法注重整体一致性绝对轨迹误差(Absolute Trajectory Error，ATE)和关注局部一致性的相对位置误差(Relative Pose Error，RPE)。对单对点，ATE定义如下（后续公式均来自参考文献[2]）:
对于RPE，有三种评价方法：仅平移、仅旋转和无限大纲的综合评价，其中第三方使用较少，但在一些工具中，如EVO中有提到。
以上是无量纲的评价方法，如果P、Q换成R或者T，然后是相应的只平移或只旋转评价方法。
1.4 统计指标
每对匹配的参考轨迹点和估计轨迹点都有误差，但我们的目的是在整个数据序列中评估整个轨迹的误差，因此需要使用统计量。通常有以下几点：
- 最大值(Max)
- 最小值(Min)
- 均值(Avg)
- 中位数(Mean)
- 标准差(Std)
- 均方根误差(RMSE)
最常用的是均方根误差，比如RPE RMSE，可以这样计算平移部分：
ATE RMSE一般只评估平移，可以这样计算：
因此，这已经成为我们在论文中看到的RPE RMSE Trans、RPE RMSE Rot、ATE RMSE，以及相应的平均值和中位数；
二、定性对比
由于上述指标只能反映算法在某一序列中的精度水平，因此无法显示特殊运动或特殊场景中的轨迹是否会漂移，因此通常会有一些轨迹图作为辅助显示。例如，当年VINS-MONO[7]的炫技:
以及对-段序列中轨迹误差统计得到的箱型图：
还有和其他VIO轨迹精度定性比较(据说是定性的，但在下图和上图的箱型图中还是需要定量计算指标，可能放在定性比较——节不合适，回头看调整):
当然，有些人不需要直接使用估计轨迹来比较不同的算法，比如最新的TUM VIE[8]简单比较数据集中：
一些算法还试图通过定性密集地图的质量来表示定位精度的准确性，如ORB-SLAM这张图一开始就放了：
或者在某些场景中没有有效的手段可以获得参考真实值，此时视觉是主要输入SLAM精度更高的激光SLAM作为参考。比如赵世博Q师兄和室友王鹏的工作TP-TIO[10]，以LOAM作为参考评估VINS、OKVIS、RVIO等待在烟雾场景中工作的可靠性(附图不是在烟雾环境中，而是在烟雾环境中SLAM/VIO没有人能跑下来)∶
三、常用轨迹精度定量评价工具
3.1 EVO[11]
全名为“Python package for the evaluation of odometry and SLAM”，使用Python目前正在编写轨迹评估工具SLAM领域论文中的利用率逐渐上升，可以说已经成为一种行为SLAMer必须使用工具。
这里没有相应的论文，开源代码：
3.2 慕尼黑工业大学轨迹评估工具
慕尼黑工业大学SLAM除了为各种传感器和场景提供数据集序列外，相关数据集的高产工厂还提供了相应的轨迹评估工具，轨迹格式简单高效。该工具访问页面：
相关wiki页面在此：
3.3 苏黎世大学轨迹评价工具：rpg_trajectory_evaluation
全名为“Toolbox for quantitative trajectory evaluation of vO/VIO代码网页链接为：
暂时想到这些，想到其他的补品
参考资料:
[1] Geiger, Andreas, Philip Lenz, and Raquel Urtasun. “Are we ready for autonomousdriving? the kitti vision benchmark suite.” 2012 IEEE conference on computer vision andpattern recognition.IEEE,2012.
[2] Sturm,Jurgen, et al. " A benchmark for the evaluation of RGB-D SLAM systems." 2012IEEE/RSJ international conference on intelligent robots and systems.IEEE,2012.
[3] Burri,Michael et al.“The EuRoC micro aerial vehicle datasets.” The International Journalof Robotics Research35.10(2016): 1157-1163.
[4] Handa, Ankur, et al.“A benchmark for RGB-D visual odometry, 3D reconstruction andSLAM.” 2014 IEEE international conference on Robotics and automation (ICRA).IEEE,2014.
[5] Rosinol,Antoni, et al. “Kimera: an open-source library for real-time metric-semanticlocalization and mapping.” 2020 lEEE International Conference on Robotics and
Automation (ICRA).IEEE,2020.
[6] Yu, Chao, et al.“DS-SLAM:A semantic visual SLAM towards dynamic
environments.” 2018IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS). IEEE,2018.
[7] Qin, Tong,Peiliang Li, and Shaojie Shen.“Vins-mono: A robust and versatile monocularvisual-inertial state estimator.” IEEE Transactions on Robotics34.4(2018):1004-1020.
[8] Klenk, Simon, et al.“TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset.” arXivpreprint arXiv:2108.07329(2021).
[9] Mur-Artal,Raul, and Juan D.Tard6s."Orb-slam2:An open-source slam system formonocular, stereo, and rgb-d cameras."IEEE transactions on robotics33.5(2017): 1255-1262.
[10] Zhao, Shibo, et al.“Tp-tio: A robust thermal-inertial odometry with deep
thermalpoint.” 2020IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2020.
[11] github.com/MichaelGrupp.….
[12] Zhang, Zichao, and Davide Scaramuzza. “A tutorial on quantitative trajectoryevaluation for visual (-inertial) odometry.” 2018IEEE/RSJInternational Conference onlntelligent Robots and systems (lROS).IEEE,2018.
原文地址
