自动驾驶中的多传感器融合

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达  

本文转自：计算机视觉life

多传感器集成的主要挑战是如何集中收集到的大量数据并做出正确的决策。

多传感器融合

多传感器信息集成（Multi-sensor Information Fusion，MSIF），它是利用计算机技术自动分析和综合来自多传感器或多源的信息和数据，以完成所需的决策和估计。

多传感器信息集成技术的基本原理就像人脑综合处理信息的过程一样，对多层次、多空间的信息进行互补和优化，最终产生观测环 解释边境的一致性。

在此过程中，应充分利用多源数据进行合理的控制和使用，信息集成的最终目标是基于传感器获得的分离观测信息，通过多层次和多方面的信息组合导出更有用的信息。

这不仅利用了多个传感器相互协同操作的优点，还综合处理了其他信息源的数据，提高了整个传感器系统的智能化。

融合体系

信息融合系统的系统结构主要有三种：集中式、分布式和混合式。

1.集中式：集中将传感器获得的原始数据直接发送到中央处理器进行集成处理，实现实时集成。数据处理精度高，算法灵活，缺点是处理器要求高，可靠性低，数据量大，难以实现。

2.分布式：每个传感器首先局部处理获得的原始数据，包括预处理、分类和提取特征信息，并通过各自的决策标准做出决策，然后将结果发送到集成中心进行集成，以获得最终决策。分布式通信带宽需求低，计算速度快，可靠性和连续性好，但跟踪精度不高。

3.混合式：在大多数情况下，上述两者是不同的组合，形成混合结构。它保留了上述两种系统的优点，但在通信和计算方面付出了更昂贵的代价。然而，该系统也具有上述两种系统无法比拟的优点，通常用于实际场合。

多传感器集成特性

多传感器融合 系统有四个显著特点：

1.信息冗余：对于环境的一个特征，它的多个信息可以通过多个传感器（或单个传感器的多个不同时刻）获得，冗余且可靠性不同。通过集成处理，可以提取更准确和可靠的信息。

此外，信息冗余可以提高系统的稳定性，避免单个传感器故障对整个系统的影响。

2.信息的互补性：不同类型的传感器可以为系统提供不同的信息，描述不同的环境特征，相互补充。

如果定义了由所有特征组成的坐标空间，则每个传感器提供的信息只属于整个空间的子空间，并且与其他传感器形成的空间相互独立。

3.信息处理的及时性：各传感器的处理过程相互独立，整个处理过程可采用并行导热处理机制，使系统处理速度更快，处理结果更及时。

4.信息处理成本低：多个传感器可以以更低的成本获得相当于单个传感器可以获得的信息量。另一方面，如果不使用单个传感器提供的信息来实现其他功能，则单个传感器的成本与多个传感器的成本之和相当。

应用于自动驾驶

自动驾驶汽车使用各种传感器，不同类型的传感器相互补充，以提高自动驾驶系统的安全系数。自动驾驶要求传感器集成具有必要的性质和实时性。

MSDF主要挑战是如何将收集到的大量数据集中在一起，做出正确的决策。MSDF错误意味着下游阶段要么没有必要的信息，如果使用错误的信息做出错误的决定。

可以看出，自动驾驶汽车将通过安装在车身周围的摄像头收集视觉数据，并通过雷达（激光雷达、毫米波雷达等）收集周围物体的运动速度，但这些数据从不同的角度描述现实世界中相同或不同的物体。

使用传感器越多，对计算能力的要求就越高，这意味着自动驾驶汽车必须配备更多的计算机处理器和内存，这也会增加汽车的重量，需要更多的功率和更多的热量。还有很多缺点。

智能汽车的显著特点是智能，即汽车可以通过车载传感系统感知道路环境，自动规划驾驶路线，控制车辆达到预定目标。

目前，车载感知模块包括视觉感知模块、毫米波雷达、超声波雷达、360°环视系统等，多源传感器的协同作用识别道路车道线、行人、车辆等障碍物，护送安全驾驶。因此，感知信息也需要集成，感知信息也需要相互补充。

多传感器集成的四种关键方法

• Harmonize

假设有两种不同的传感器，称为传感器X和传感器Z。它们都能感知到自动驾驶汽车的外部世界。

在现实世界中，有一个物体可以被人、汽车甚至狗、传感器X和传感器Z检测到。

这意味着传感器对物体进行了双重检测，这意味着两种不同类型的传感器都有关于物体的数据报告，对物体有两个不同的维度。

假设传感器X表示物体高6英尺，宽2英尺；传感器Z表示物体以每秒3英尺的速度向自动驾驶车辆移动。

结合两个传感器收集的数据，可以得到一个相对准确的信息:一个高约6英尺、宽2英尺的物体以每秒3英尺的速度移动。

假设这两自动驾驶汽车上只安装了X传感器，那么就无法得知该物体的大小；若Z传感器坏了，那么就只有物体的大小信息，无法检测该物体的运动状态。这也就是最近业内广泛讨论的“在自动驾驶汽车上应该安装哪些传感器”的问题。

特斯拉埃隆·马斯克(Elon Musk)特斯拉不会安装激光雷达。

尽管马斯克自己也这么认为，L5自动驾驶不会通过激光雷达实现这一想法，最终可能会被验证为错误，这仍然没有改变马斯克的决定。

一些反对的声音说，没有激光雷达的特斯拉无法通过其他传感器获得与激光雷达效果相同的感官输入，也无法提供补偿和三角测量。

但其他支持者认为，激光雷达不值得花费如此高的成本，增加计算能力或认知时间。

• Reconcile

在同一个视场(Field of View，FOV)假设传感器X检测到一个物体，而传感器Z没有检测到。请注意，这与传感器Z中的物体完全相同FOV另外，情况很大。

一方面，系统会认为传感器X是正确的，Z这是错误的，可能是由于Z故障、模糊检测或其他原因。另一方面，传感器X可能是错误的，X也许报告了一个幽灵(其实不存在的东西)，而传感器Z报告说没有什么是正确的。

• Integrate

假设我们有两个物体a和b，在传感器X和传感器Z的视野中FOV内（a在X视场内，b).也就是说，Z不能直接检测a，X也不能直接检测b。

目前，我们想要实现的效果是X和Z整合报告，让它们在各自的视野中检测物体，同时判断X视野中的物体是否移动到Z视野，提前提醒Z将物体进入检测区域。

• Synthesize

第四种方法Synthesize将感知数据集成在一起，您可能会遇到传感器X和传感器Z都没有在各自的视野中检测到物体的情况。

在这种情况下，没有传感器知道物体的存在，但可以通过视场外的一些其他感知数据，如声音，间接了解物体。自动驾驶汽车总是在移动，所以这种预测需要立即发生，就像上面提到的，是实时的。

自多传感器信息融合技术应用以来，应用方法很多，其中聚类分析、证据理论、DS 算法、最优理论法等。

下载1：OpenCV-Contrib中文版教程扩展模块

在「小白学视觉」微信官方账号后台回复:扩展模块中文教程，即可下载全网第一份OpenCV中文版扩展模块教程，涵盖扩展模块安装，SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等20多章。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~