自动驾驶中的9种传感器融合算法
时间：2022-07-17 22:00:00
来源丨AI 修炼之路
在自动驾驶汽车中，传感器集成是一个集成多个传感器数据的过程。这一步在机器人技术中是强制性的，因为它提供了更高的可靠性、冗余性和最终的安全性。
让我们考虑一个简单的例子，比如激光雷达和相机都在看行人:
如果两个传感器中的一个没有检测到行人，我们将使用另一个传感器作为冗余来增加检测行人的机会。
如果两个传感器都检测到行人，传感器集成技术将使我们更准确地了解行人的位置……处理两个传感器的噪声值。
由于传感器有噪声，传感器需要集成算法来处理噪声，并尽可能准确地估计。
当我们融合传感器时，我们实际上是在整合传感器数据或称为数据融合。构建数据融合算法的方法有九种。这九种方法可分为三类。
本文将重点介绍传感器融合的三种分类和九种算法。
传感器按抽象级融合
最常见的融合类型是抽象级。在这种情况下，问题是什么时候融合？
文章激光雷达与相机的集成描述早期（EARLY）和后期（LATE）整合两个过程。
业内还有其他名称：低级（Low Level）、中级（Mid-Level）和高级（High-Level）传感器融合。
低级集成:原始数据集成:
低级传感器集成是关于多个传感器集成的原始数据。例如，激光雷达点云数据和摄像头像素级数据的集成。
? 这种类型的集成在未来几年有很大的潜力，因为它考虑了所有的数据。
? 早期融合（Low-Level）由于需要大量的处理，几年前很难做到。每毫秒可以将数十万个点与数十万个像素融为一体。
下面是摄像头和激光雷达低级别融合的示例。
对象检测是在这个过程中使用的，但真正完成这项工作的是3D将点云投影到图像中，然后将其与像素联系起来。
中级集成：集成检测数据
中级传感器集成是将传感器独立检测到的物体集成。
如果相机检测到障碍物，雷达也检测到它，我们将这些结果整合在一起，形成对障碍物位置、类别和速度的最佳估计。通常的方法是卡尔曼滤波器(贝叶斯算法)。
? 这个过程很容易理解，包含了几个现有的实现。
? 它严重依赖于检测器。如果失败，整个集成可能会失败。卡尔曼滤波器可以解决这个问题！
中级传感器融合示例：
在这个例子中，我们将来自激光雷达3D来自对象检测算法的边界框和2D边界框融合在一起。该过程有效；但也可以逆转。可以将3D激光雷达的结果映射到2D中，并在2D数据集成在图像中。
高水平融合融合轨迹
最后，高级传感器集成是关于集成对象及其轨迹的。我们不仅依赖于检测，还依赖于预测和跟踪。
? 这个过程高一级，优点简单。
? 一个主要问题是可能会丢失太多信息。如果跟踪是错误的，那么整个事情都是错误的。
根据抽象级数据集成图，雷达与摄像头之间：
集中级传感器集成
集成算法的第二种方法是根据集中级别来区分的。这种情况下的问题是集成在哪里？。主计算机可以做，或者每个传感器都可以做自己的检测和集成。有些方法是通过使用称为卫星架构的技术来集成的。
让我们了解三种类型的融合：
中心化：
中央单位处理整合(低级)。
去中心化：
每个传感器集成数据并将其转发给下一个。
分布式：
每个传感器处理本地数据传感器发送到下一个单元(后期集成)。
我们以一辆经典的自动驾驶汽车为例。在这种情况下，每个传感器都有自己的计算机。所有这些计算机都连接到中央计算机单元。
与此相反，Aptiv开发了一种卫星架构。这个想法是，所有的传感器都连接到一个被称为主动安全域控制器的智能中央单元。
在此过程中，使用传感器的位置和传输的信息类型可以帮助减轻车辆的总重量，并随着传感器的数量更好地扩展。
左图如下：
传感器只是卫星：
它们只用于收集原始数据。
360主计算机°的融合：
不需要安装很好的传感器，因为不会单独检测。
检测是在360°完成的全景图。
? 有几个优点，请阅读。
这是两个集中融合的例子。当我们使用经典架构时，我们可能会遇到另外两种融合。
根据抽象级数据集成图，雷达与摄像头之间：
根据竞争级传感器集成
根据竞争水平对传感器融合算法进行分类的最后一种方法。
问题是什么时候融合应该发生在抽象级别。
在集中级，它是关于在哪里的。
在竞争水平上，问题是融合应该做什么？
”
同样，也有三种可能性。
竞争融合
竞争集成是指用于相同目的的传感器。例如，当雷达和激光雷达同时用于检测行人时。这里的数据集成过程称为冗余，并使用术语竞争。
互补融合
互补融合是指用不同的传感器观察不同的场景，以其他方式获得我们无法获得的东西。例如，当使用多个摄像头构建全景图时。因为这些传感器是互补的，所以术语是互补的。
协同融合
最后，协同融合是关于使用两个或两个以上的传感器来创建一个新的场景，但是关于同一个对象。例如，在使用中2D传感器进行3D扫描或3D重建时。
希望望这篇文章能帮助你更好地理解如何使用传感器集成，以及如何区分不同的集成算法。
贝叶斯算法通常完成融合，如卡尔曼滤波器。我们可以整合数据来估计物体的速度、位置或类别。
译自：Learn Self-Driving Cars,Computer Vision,and cutting-edge Artificial Intelligence
本文仅进行学术分享。如有侵权行为，请联系删除。
3D推荐视觉精品课程：
1.多传感器数据集成技术面向自动驾驶领域
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.中国第一个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释
6.彻底了解视觉惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底了解基础LOAM框架的3D激光SLAM: 源代码分析到算法优化
8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
