学习笔记25--多传感器前融合技术
时间：2022-08-22 02:00:01
本系列博客包括自动驾驶技术概述、自动驾驶汽车平台技术基础、自动驾驶汽车定位技术、自动驾驶汽车环境感知、自动驾驶汽车决策与控制、自动驾驶系统设计与应用六个栏目。作者不是自动驾驶领域的专家，只是一个探索自动驾驶道路的小白人。这个系列还没有读完，也是一边读一边总结一边思考。欢迎各位朋友，各位大牛在评论区给出建议，帮笔者这个小白挑错，谢谢！
本专栏是关于自动驾驶汽车环境感知的笔记.
3.多传感器前融合技术
前融合技术：指所有传感器的数据信息在原始数据层直接集成，然后根据集成的数据信息实现感知功能，输出结果层的检测目标。
基于神经网络的常见融合方法，如：MV3D(Multi-View 3D Object Detection)、AVOD(Aggregate View Object Detection)、F-PointNet(Frustum PointNets for 3D Object Detection)等。
3.1 MV3D
MV3D拍摄激光雷达探测点云数据和可见光摄像头RGB图像集成，其输入数据是激光雷达投影的鸟瞰图(LIDAR bird view)、前视图(LIDAR front view)和二维RGB图像，网络结构主要由三维区域生成D proposal network)以及基于区域的集成网络(region-based fusion network)，使用深度融合(deep fusion)如下图所示：
激光雷达点云数据是一个无序的数据点构成的集合，在用设计好的神经网络模型处理点云数据前，为了更加有效保留三维点云数据的信息，方便处理，MV3D将点云数据投影到特定的二维平面，得到鸟瞰图和前视图。
3D proposal network，类似于Faster-RCNN在检测模型中应用的区域生成网络(Region Proposal Network，RPN)，在三维推广中，实现的功能之一是生成目标的三维候选框；这部分功能在鸟瞰图中完成，鸟瞰图的目标较少，候选框提取效率最好。
提取候选框后，映射到三张图片中，获得各自感兴趣的区域(Region of Interest，ROI)，进入region-based fusion network融合；在选择融合方法时，有：早期融合(early fusion)、后期融合(late fusion)、深度融合(deep fusion)，三种比较方法如下图所示：
论文原文链接
3.2 AVOD
AVOD集成激光雷达点云数据RGB图像信息的三维目标检测算法只输入激光雷达生成的鸟瞰图(Bird’s Eye View，BEV)Map采集摄像头RGB图像，放弃激光雷达前图(Front View，FV)和BEV中密度特征(intensity feature)，如下图所示：
输入数据，AVOD先提取特征，得到两个全分辨率的特征映射，输入RPN在没有朝向的区域建议中生成，最后选择合适的提议候选人送到检测网络生成带朝向的三维边界，完成目标检测任务；AVOD有两个传感器数据集成：特征集成和区域建议集成。
上图说明:上图是AVOD编码器-解码器用于特征提取网络(encoder-decoder)结构，每层解码器首先对输入进行采样，然后与相应的编码器输出串联，最后通过3×3的卷积集成；该结构可提取分辨率特征映射，有效避免了输出特征映射中小目标物体像素不足1的问题，最终输出的特征映射不仅包含底层细节，还集成了高层语义信息，可以有效提高小目标物体的检测结果。
上图描述:上图为三种边界框编码方式，从左到右依次:MV3D、轴对齐、AVOD三维边界框的编码方法MV3D与指定八个顶点坐标的编码方法相比，AVOD三维边界框的形状采用底面和高度限制，只能用10维向量表示，MV3D需要24维向量表示。
3.3 F-PointNet
F-PointNet结合成熟的二维图像中的目标检测方法，在相应的三维点云数据中获得视锥体(frustum)，并返回边界框以完成检测任务，如下图所示：
F-PointNet整个网络结构由三部分组成：视锥体(frustum proposal)、三维实例分割(3)D instance segmentation)、回归三维边界框(amodal 3D box estimation)；网络结构如下图所示：
F-PointNet利用RGB基于图像分辨率高的优点FPN检测模型首先得到目标在二维图像上的边界框，然后根据已知的摄像头投影矩阵将二维边界框提升到定义目标三维搜索空间的视锥，并收集截面中的所有点，形成锥点云；
上图说明:图(a)是摄像头坐标系，图(b)是锥体坐标系，图( c )是三维掩膜局部坐标系，图(d)是T-Net预测的3D对锥体点云数据锥体点云数据和模糊问题，F-PointNet使用PointNet(或PointNet )实例分割模型；在三维空间中，物体之间大多是分离的，三维分割更可靠；通过实例分割，可以得到目标对象的三维掩膜（即目标的所有点云），并计算其纹理作为新的坐标原点，如图所示( c )最后，将目标点云数据转换为局部坐标系，以提高算法的平移不变性；F-PointNet使用带T-Net的PointNet(或PointNet )回归模型，预测目标三维边界框的中心、大小和方向，如图所示(d)最终完成检测任务；T-Net其功能是预测目标三维边界框真实中心与目标质心之间的距离，然后以预测中心为原点目标坐标系。
小结：
F-PointNet为了保证每个步骤点云数据的视角不变，最终更准确地回归三维边界框，视锥体转换、掩膜纹理转换、T-Net预测。
论文原文链接
