CLOCs：一种相机-激光雷达3D目标检测后融合方法

点击上方“3D视觉车间，选择星标

第一时间送达干货

作者丨paopaoslam

来源泡泡机器人SLAM

标题：

CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection

作者：Su Pang, Daniel Morris, Hayder Radha

编译：张毅Roy

审核：Lionheart，志勇

摘要

我们正在利用神经网络解决3D-LiDAR和2D-Camera物体识别取得了很大进展。然而，很难像单个模型一样有效地训练神经网络。在这篇文章中，我们提出了一个新颖的Camera-LiDAR（CLOCs）融合网络。CLOCs 该集成提供了一个复杂性低的多模态集成框架，显著提高了单模态检测器的性能。CLOCs会利用在非极大值抑制（NMS）之前产生的3D和2D检测器的输出结果(候选物体)将利用其几何和语义的一致性来实现更准确的检测精度。本文的实验数据为KITTI物体识别，包括3D与鸟瞰视角指标相比，实验结果表明，本文提出的算法比其他算法有了显著的改进，特别是在远程数据应用中，该算法超过了现有最先进的基于集成算法。在提交时，CLOCs在官方KITTI 在所有基于整合的方法中排名最高。我们将发布我们的代码。

相关工作

3D物理检测可分为三类：(1) 2D图片，（2）3D点云，(3)图片和点云。2D图像检测很难给出准确的三维边界。3D点云检测是最近流行的研究方向，但在远距离物体检测中也存在明显的不足。基于多模型集成的3D检测也有很多方向。多模型的融合方可分为早期融合、深度融合、晚期融合三类，各有优缺点。虽然早期集成和深度集成有最大的潜力使用跨模型信息，但由于数据协调或对齐非常难以调整，需要一个非常复杂的框架来支持算法。而且后期融合在框架上会比较简单，而且很容易构建预训练和单模型检测器。

整体框架

CLOCs 整合网络结构。首先是2D和3D检查后的候选人转换为联合检查的候选人，然后在疏松的输入中tensor里使用2D-CNN处理非0元素。最后，处理过的tensor它将被映射到预期的学习目标中，以最大化池化。

论文重点介绍

几何和语义的一致性

对于给定的一帧图像和激光雷达数据，每个模式中可能有许多不同信誉的测试候选人。从这些候选人中，我们寻找多个3D检测物体和分数组成集合。融合这些检测候选者需要找到不同模态之间的联系。为此，我们构建了一个关于几何图形关联和应用语义一致性的评分机制，详细描述如下。

几何一致性

通过2D和3D探测器将有一个类似的边界框，见图2。如果位置上有小误差，重叠部分将减少。这将使基于图像的边界框相交(IoU)投影角的二维边界框和三维检测边界框可以量化它们之间的几何一致性。

语义一致性

探测器可以输出多个对象的类别，但我们只关联相同类别的候选人。在这个阶段，我们避免了阈值检测（或使用非常低的阈值），并将阈值的使用留给最终的输出阶段。

2D以下公式可以表示监测候选人：

3D公式2可以表示检测候选人：

对于k个2D检测和n个3D我可以建立一个测试k*n*4的长量tensor T,可以表示为

当IoU0时相当于这个长度不存在，因为它们在空间上几何不一致。

结果

使用上述表格KITTI对各相机激光雷达融合算法中的数据进行识别和比较。CLOCs融合比其他的融合算法都可以获得更好的效果。

上图显示了距离的平均精度（AP）可以看到比较CLOCs长距离(40~500m）精度更高。

本文提出了上图CLOCs在KITTI测试集的结果和SECOND相比之下。红蓝边框是CLOCs分别纠正来源SECOND错误检测和未检测对象。绿色边框是正确的检测。每个图像的最后一行是投影到图像上的三维检测，其余是激光雷达的三维检测点云。

Abstract

There have been significant advances in neural networks for both 3D object detection using LiDAR and 2D object detection using video. However, it has been surprisingly difficult to train networks to effectively use both modalities in a way that demonstrates gain over single-modality networks. In this paper, we propose a novel Camera-LiDAR Object Candidates (CLOCs) fusion network. CLOCs fusion provides a low-complexity multi-modal fusion framework that significantly improves the performance of single-modality detectors.

CLOCs operates on the combined output candidates before Non-Maximum Suppression (NMS) of any 2D and any 3D detector, and is trained to leverage their geometric and semantic consistencies to produce more accurate final 3D and 2D detection results. Our experimental evaluation on the challenging KITTI object detection benchmark, including 3D and bird’s eye view metrics, shows significant improvements, especially at long distance, over the state-of-the-art fusion based methods. At time of submission, CLOCs ranks the highest among all the fusion-based methods in the official KITTI leaderboard. We will release our code upon acceptance.

本文仅进行学术分享。如有侵权行为，请联系删除。

下载和学习干货

后台回复：巴塞罗那自治大学课件，下载国外大学沉淀3年D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域的经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域的精品课程

3D推荐视觉精品课程：

1.自动驾驶领域的多传感器数据集成技术

2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)
3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进
4.中国第一门面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底了解基础LOAM框架的3D激光SLAM: 从源代码分析到算法优化
8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)

9.从零开始建造一套结构光3D重建系统[理论 源码 实践

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近5000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~