作者颍川滞@知乎

来源丨https://zhuanlan.zhihu.com/p/453038352

编辑丨3D视觉工坊

前言：

Hello，大家好，我是清华自动化的小郭。两个月前我开始做了SLAM目的是研究以Livox雷达是测绘场景应用的核心多传感器融合方案，在大量学习和调研之后选择follow港大MARS实验室相关Livox利用雷达的结果r3live刚开源不久(2021年最后一天开源)的机会，我就蹭热度，如题所示，这篇文章是刚开源的R3LIVE经验和测试，r3live的github链接：https://github.com/hku-mars/r3live

R3LIVE我已经关注这项工作很长时间了是传统的SLAM框架下搭建了一套高性能雷达odometry-彩色点云Mapping-三维重建的体系，将Lidar-相机-IMU更直接有效的融合。它同时构图RGB信息通过VIO子系统给点云上色，并通过定的方法优化上色。

给点云的xyz加上了RGB和协方差信息之后，数据的信息要素就变多了，可拓展性也变强了。

可以说，现在的一切slam框架中，r3live唯一能做到这一点的就是这份工作真正值得吹的，最牛逼的地方，这也是我愿意花这么多时间写这篇文章的主要原因。

R3LIVE A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual state estimator

视频：https://www.bilibili.com/video/BV1d341117d6?from=search&seid=12107213485081421560&spm_id_from=333.337.0.0

此外，本文还提供了高效的三维点云重建mesh根据三维重建的结果，作者制作了一个小游戏。

视频地址：https://www.bilibili.com/video/BV1e3411q7Di?from=search&seid=12107213485081421560&spm_id_from=333.337.0.0

看完演示和论文，我直呼小母牛倒立-NB冲天（图0-1）

另外，看了作者(Jiarong Lin)发表的所有历史工作之后，发现所有他的文章都有相应的开源实现！！！对于这种宝贵的开源精神，我们不应该动动小手来支持它吗？至少给一个star不过分，哈哈哈

https://paperswithcode.com/search?q=author:Jiarong Lin

简介：

这里我简单介绍一下。hku-mars几项相关工作

1、loam-livox：livox雷达SLAM的奠基之作

作者：Jiarong Lin and Fu Zhang 代码链接：https://github.com/hku-mars/loam_livox 简介：也就是说r3live作者写的这篇文章是经典的loam在系统的基础上，针对livox高频率小fov不规则采样的特点，设计了 实时激光雷达建图算法；livox-loam二是增加了高效的回环检测方案(非常符合测绘逻辑)。 再说说Livox这种雷达采用花瓣扫描(图1-1)的方式，类似于人类视网膜(图1-2)的扫描方式，然后用于机器学习 可能非常NB。

图1-1：livox-avia扫描方式

图1-2：livox雷达与人眼扫描注意力对比图

2、lio系列：FASTLIO\FASTLIO2：高性能LIO的

作者：Wei Xu, Yixi Cai 等 代码链接：https://github.com/hku-mars/ikd-Tree  简介：FASTLIO利用紧耦合迭代扩展卡尔曼滤波器提出了激光雷达的特性点IMU数据集成，我的理解FASTLIO做了两份工作， 一是使用流形约束SO3，一是设计迭代卡尔曼滤波器代替loam非线性优化方案。 FASTLIO2更有趣，更好地利用实验室设计的动态增量KD树，在ikdtree在高速运算的加持下，不需要zhangji那种手工 提取角点面点的旧方法，直接采样ICP这样这样匹配get我们不知道它的一些重要特征。

3、live系列：r2live\r3live：

作者：Jiarong Lin and Fu Zhang 代码链接：https://github.com/hku-mars/r2live 简介：r2live，将fastlio2变成lio加入子系统vio子系统在误差卡尔曼滤波器内部估计状态，用因子图进一步改进整体 精度。一般来说，雷达和相机在不同的环境中有自己的优势。在卡尔曼滤波框架下，雷达场景不会退化。雷达不能放在相机的顶部。 不行上IMU顶。

看完了r2live论文和介绍视频后，我说是骡子是马拉出来，我立即带我们节省手持设备（图2-1）在校园测试，真的随意扫描，实时操作，如何扫描，计算效率特别高，也很棒（图2-2），扫描后我有一种感觉：真的很棒

然而，今天的主角不是r2live，这是我接下来想说的r3live

图2-1:我们的设备和采集过程

图2-2：r2live扫描校园效果1

图2-3：r2live扫描效果2

r3lvie意义何在

有朋友问，这个r2live（图3-1）和r3live(图3-2)有什么区别？看完论文可以判断。r3live应以前作为基础r2live的基础上开发的，也是分为俩个子系统，即：激光惯导子系统(LIO)视觉惯导子系统(VIO)。如下列框架图所示，r3live和r2live的LIO系统没有太大区别，它们最大的区别在于VIO的设计上。r2live采用的是ESIKF filter-based odometry pose graph optimization的pipeline，通过ESIKF filter快速迭代出最优状态，然后通过pose graph optimization的进行refine。而在r3live中，VIO直接使用子系统的原因LIO通过地图纹理(即点云)，系统的点云地图RGB对系统状态进行更新。简而言之，r3live中的LIO系统负责构建地图的几何结构（geometry structure), VIO子系统负责渲染地图的纹理(texture, 即点云的颜色信息)。

由于这种设计，r3live比r2live的多传感器融合的更直接有效。

图3-1 r2live

图3-2：r3live

r3live效果展示

首先，我的电脑配置：32GRAM，i7-10700U的NUC，没有显卡，跑起来没有压力，所有截图都是实时数据的实时截图。

我运行的数据是作者提供的数据集：

degenerate开头的数据集表示容易退化场景，似乎有loam-livox的陈年老bag

hku_campus开头是香港大学室内外场景的数据集

hkust_campus一开始，香港科技是一个大型校园数据集

hku_park从树木多的公园类型的数据集开始

这些数据集基本上代表了大部分slam作用环境，跑这个数据验证很有说服力，也可以跑自己的数据（r2live收集的数据)。但是，在运行自己的数据时，要联合校准相机雷达，并在config的yaml在文件中配置相机内外参。

1.实时性:图片无法反映，我们跑步时还是很流畅的。

2.雷达和相机容易退化的场景

直接硬白墙雷达必然退化，相机容易漂浮的场景可以保持稳定NB

再来一张

3、回环的场景

hkust01的bag，走第二圈这个楼梯的时候还是同一个栏杆非常的NB

走树林的场景回环的很好

4、彩色点云

点云上色的质量非常的好

港科技萌萌的地面

每一根毛都清清楚楚

有一种身临其境的感觉

树林一角

校园风景

校园总览

地面纹理相当清晰

车道线表达也相当稳健

三维重建及其应用

5、mesh重建：

建图效率非常的好，作者把该功能集成在了roslaunch中，用起来也非常方便，有心了。

6、重建应用：两个小游戏

7、系统监视工具：

内存查看器：在运行r3live的roslaunch的终端里面，作者给我们维护了一个内存监视器，可以实时查看内存占用情况，还是很好用的。

对于r3live的展望

在实际测试中，除了实时重建的彩色地图给了我很大的震撼，我还关注到以下几点，首先是内存占用问题，通过作者提供的内存查看器，我门可以很清楚的看到，r3live的内存占用是比较大的，9GB大小的香港科技大学的bag，在内存中表现总占用了27GB RAM，可以看出来，R3LIVE的地图记录了不止点位的几何位置信息，还记录了RGB颜色、协方差等一堆参数，导致R3LIVE在内存占用上还是很高的，不知道后续作者会不会针对这个问题做相关的优化。

第二点就是在进行三维重建之后，在树和房子之间的部分，建图效果不是很理想，语义分割后再进行mesh是不是会好一些？

总之我就想赶紧标定好设备，马上去采据去

本文仅做学术分享，如有侵权，请联系删文。

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~