基于三维激光点云的目标识别和跟踪研究

人工智能技术与咨询

来源：汽车工程，徐国艳等作者

［摘要］针对无人车环境感知中的障碍物检测问题，设计了一套基于车载激光雷达的目标识别与跟踪方法。为了减少计算量，提高处理速度，引入点云过滤和分割算法减少原始激光点云数据，有效提高了检测的实时性。基于多特征复合判据的使用SVM改进了分类器Adaboost算法直接处理三维激光点云，最大限度地保留感知信息，提高识别准确性。提出了基于最大熵模糊聚类和相应粒子滤波器的数据关联方法，有效提高了目标跟踪在复杂交通流中的稳定性和准确性。经百度Apollo平台数据集模拟、自主研发的无人驾驶平台实验证和小目标重叠和屏蔽的实车验证表明，该方法具有良好的实时性和鲁棒性。

关键词:无人驾驶汽车；环境感知；激光雷达；识别；跟踪；

前言

在无人驾驶汽车中，环境感知系统是其驾驶决策的信息来源，识别和跟踪车辆、非机动车、行人等交通目标，及时将环境障碍信息输入决策系统，是环境感知系统的重要任务，也是无人驾驶汽车安全驾驶的关键。

在国内外对这一问题的研究中，提出了将三维数据压缩到二维平面并进行聚类的网格地图1、根据帧截图和视觉方法检测点云的特征图像2等。这些方法只能在二维平面上获得目标信息。随着机器学习的兴起，使用神经网络、随机森林、Adaboost等机器学习算法3直接提取和分类三维点云特，逐步发展。在目标跟踪上，使用MHT和JPDA结合卡尔曼滤波器跟踪等数据关联算法4是常用的方法。然而，该方法在实际复杂的交通流中面临着维度灾难和无效的交叉和阻挡目标的问题。因此，提出了一系列基于非线性假设的跟踪方法6-8。

本文采用三维激光点云数据，通过可变阈值筛选进行聚类。53维特征向量作为复合10个不同特征的判断SVM改进了分类器Adaboost直接处理三维激光点云数据的机器学习算法，得到目标识别结果。提出了基于最大熵模糊聚类的数据关联方法，并设计了相应的粒子滤波器，解决了复杂交通流引起的目标屏蔽和错误跟踪问题。模拟和实验结果表明，该方法具有可靠性和鲁棒性。

1 激光点云数据获取和预处理

使用速腾聚创产品RS-16线激光雷达作为源，16线激光雷达安装在车顶对心。安装图如图1所示。

图1 雷达安装示意图

1.1 过滤和分割激光点云数据

为减少计算量，选择激光点云的z坐标值作为过滤和分割的依据，过滤地面、建筑物等点云。在激光扫描区域x-y平面分为0.1 m×0.1 m由于网格小于可能目标所占的面积，因此每个网格可视为仅属于一类分类。可分类包括地面、建筑物、树木和目标。地面的特点是z坐标值小，与平面相似，网格中z坐标值相差不大。z坐标值与建筑点是z坐标值差异很大，最大值远远超过目标。网格中点云数量过少可判定为噪声。激光点云数据按表1过滤分割。如图2和图3所示。

1.2 激光点云数据聚类

表1 点云过滤与分割算法

图2 点云数据过滤前图

图3 点云数据过滤后图

聚类是将分散的数据点聚合成相互独立的分类，根据事先确定的标准(如密度、距离、等级)产生的差异。聚类算法的关键在于选择标准及其阈值。为了充分利用激光雷达中包含深度信息的三维点云数据，减少不同目标距离造成的离散程度。本文利用深度信息，即距离值来调整聚类阈值。提出一种基于距离值的可变阈值确定方法［9-10］，如图4所示。设rn-激光雷达的直线距离为相邻前点，Δφ激光雷达的角分辨率，σ激光雷达零偏差，λ聚类的可变阈值为可变阈值参数

图4 阈值计算示意图

通过实验选择合适的可变阈值参数(本文选取10°），从类型（1）可以看出，激光雷达越远，阈值就越高，很好地适应了远程激光点分布的趋势，从而提高了远程离散点云的聚类效果。

2 目标识别

目标识别过程是从空间或时间分布数据信息中筛选出属于目标的部分分。机器学习是解决这些问题的有利工具。在机器学习过程中，两个关键点是设计合适的算法和分类器，并选择合适的先验特征。

2.1 基于SVM改进了分类器Adaboost算法

Adaboost它是一种基于统计数据的机器学习算法。其基本原理是不断迭代学习样本，每次迭代的结果都被视为弱分类器。由于样本的权重在每次迭代中更新，在这个过程中最终会得到几个弱分类器，并根据权重加权线性组合这些弱分类器，度的强分类器。

Adaboost算法的关键在于弱分类器的训练，直接影响最终分类器的准确性。由于Adaboost对于框架算法，可以使用弱分类器Adaboost其它分类器也可用于分类器。传统的Adaboost高维数据中算法的精度会明显降低，受噪声影响很大，复杂交通流环境中的错误率容易激增。因此使用SVM传统分类器作为弱分类器Adaboost为了提高非线性和高维应用环境下的分类器性能，改进了算法。本文设计的Adaboost如表2所示，算法框架。

表2 基于SVM的Adaboost算法流程

构建SVM分类器的基本原理是利用非线性映射将向量从二维函数映射到高维函数，从而线性化非线性问题。实现这一过程主要取决于在低维空间中找到一个核函数，使该函数值等于在两个输入向量非线性转换为高维空间后的内积。要构建的分类器输入为{xi｝n，输出量为｛yi｝n，映射函数为φ（xi），选择性能优异的径向基函数作为核函数，即

式中σ为基参量因子。此后在高维空间内可以看作一个线性的回归过程。高维空间的线性回归方程为

w是权重向量。引入参数松弛因子

和ξi，精度因子ε以及惩罚因素c，所需目标函数为

其约束条件为

可以用拉格朗日定理来解决这个问题

结合极值点KKT条件定理：

2.2 设定目标特征

激光点云具有丰富的特征信息。由于目标与无人驾驶汽车的相对位置不同，目标可能因屏蔽和交叉而呈现不完整的形式，本文从统计信息、空间位置信息和反射强度信息三个方面给出了复合特征向量SVM分类器的学习输入，复合特征如表3所示。

表3 本文选择的复合特征

(1)统计信息 主要统计指标包括聚类中包含点云的数量、聚类中包含点云的离散距离、聚类中包含点云的三维协方差及其特征值、惯性张量矩阵及其特征值。其中，点云边缘点云偏差程度。

如公式(11)所示，三维协方差主要表示云在各个方向的相关性，而特征值表示该方向的权重。

如公式(12)所示，惯性张量矩阵主要表示点云整体分布的稳定性，可用于消除噪声影响。

(2)空间位置信息 根据目标的几何特性，在某个方向上找到目标的几何特性的代表特征。利用旋转外壳法制作每个平面上聚类的最小包围矩形，形成长方体，长、宽、高可以代表不同方向目标的大小和形状特征。

(3)反射强度信息 由于不同物质的反射特性不同，同一目标上的激光点云应具有接近的反射强度。计算反射强度的平均值和方差，并获得所有激光反射点的归一化直方图。归一化直方图是将所有聚类中的激光点云按反射强度值的大小投影划分为20个强度差相同的小区域，目标拟合轮廓采用类似于绘制马赛克的方法。

目标特征可以通过选择三维点云信息的复合特征进行识别和分类，并在三维点云信息识别和分类后给出确定性。最终的识别效果如图5所示。

3 目标跟踪

目标跟踪过程是通过跟踪器对识别出的目标在不同时刻激光点云中的连续位置进行确定。由于交通流中的干扰因素和激光束的随机泄漏，T的观测量集可能是双射的，也可能是单射的，甚至是非满射的。在算法设计中，首先使用数据关联算法获得多目标关联概率分布，然后不断更新目标状态的估计值和观测值，以实现多目标跟踪，如图6所示。

图5 识别效果图

图6 目标跟踪算法流程图

3.1 最大熵模糊聚类数据关联

为了获得关联问题的最佳解决方案，通常采用联合概率数据关联的方法（JPDA）多假设跟踪算法或多假设跟踪算法（MHT）。这两种方法都可以求取最优，但是在复杂城市道路中计算量过大。因此，在关联过程中变寻求最优为寻求次优是一种较为可行的方案。通过对观测值模糊聚类，将观测值归入以目标估计量为中心的类中，然后结合信息熵极大时概率分布最接近真实的原理，将数据关联问题转化为求解条件极值的聚类问题，可以有效降低计算负荷。

假设t时刻所获得的激光点云帧中存在c个目标，所有通过激光雷达得到的观测量总集合为z j。可以将寻优过程做如下描述：此时由滤波器输出的目标的估计量作为聚类中心ci，真值和估计值之间的差异代价函数为

其中

，其可以表征观测量对于聚类中心ci的隶属程度。D是观测量对于聚类中心的欧式距离。根据信息熵理论，熵值最大的分布即不确定性最大值的概率分布，也即占优势的概率分布。引入熵值，即

为求得熵值在上两式约束条件下的最大点，采用拉格朗日函数法，设 ηj和 λj是式（13）和式（14）拉格朗日乘数。当取到最大值时，观测量zj和估计量ci之间的隶属程度为

此时，某一观测量j来自目标i的概率pji可以用隶属程度uji来表示。至此，只需给出观测量对多个目标隶属程度相同或相近的解决标准，就可以得出目标关联概率矩阵β，即可完成关联。具体的操作方法如表4所示。

3.2 粒子滤波多目标跟踪

传统的多目标跟踪系统通常采用卡尔曼滤波器进行滤波更新，这一滤波器虽然简单成熟，但目标在复杂交通流中的运动并非一个满足线性和高斯假设的场景。当目标被遮挡时，预测位置的不确定噪声变为具有多个峰值的非高斯模型。为解决这一问题，引入粒子滤波器对目标进行估计和更新。

粒子滤波是一种用一群粒子的密集程度来表示概率密度的时间序列蒙特卡洛方法。这种方法利用无参数的点来近似，代替高斯模型。当点按概率密度分布后，从中随机抽取采样点，进行加权求和，从而得到后验概率密度函数。

表4 相同隶属度修正算法

设该后验概率密度函数为 p（x0→t｜z1→t），其一组有关联的随机观测样本为

｛xn｜n＝0，1，…，k｝表示从初始时刻到 t时刻的全部

示状态集合对应的点集，两者由关联确认权值所支持联系。由此可写出t时刻的近似后验概率密度为

式中

为关联确认权值，即

q

为重要性采样密度函数，取先验概率分布函数

为重要性采样密度函数，则关联确认权值的更新过程可以写作：

由于各个时刻的观测值是相互独立且符合马尔可夫过程的，因此概率密度函数就是观测量的似然函数。当不断迭代更新到下一时刻，采样点不断增加，近似式就会不断逼近真实的值。

值得注意的是，在这一迭代更新的过程中，粒子的多样性也在不断丢失。本文采用重新采样的方法构建的车载激光雷达滤波器，如表5所示。

表5 粒子滤波跟踪器

4 实验验证

为验证上述方法在城市复杂交通流环境下的工作性能，选取百度Apollo平台开放数据进行了验证，同时在自主研发的“北航猛狮号”无人驾驶平台进行了真实城市道路实验。

验证评价指标采取ROC（receive operating characteristic）曲线法。ROC曲线是将目标和非目标分开，分别衡量所有目标中被正确检测为目标的比率（TPR）和所有非目标中被错误检测为目标的比率（FPR）。这种方法可以避免传统正确率评价标准中，目标和非目标样本数不相等造成的问题。ROC曲线横纵坐标定义为

式中：TP为被正确检测的正样本；FN为漏检的正样本；FP为误检的正样本；TN为被正确判断的负样本。ROC曲线与横轴围成的面积越大，则检测效果越好。

首先，使用百度Apollo平台对200种虚拟场景进行了目标识别与跟踪的验证，场景包括目标在本车正前方、正后方、侧前方、侧后方，执行动作包括直行、转弯、掉头、超车、跟车、换道、会车，目标数目包括单目标、双目标、多目标。然后，使用百度Apollo平台在北京市海淀区采集的真实道路数据进行验证，场景包含丁字路口、十字路口、快速路、高速路、拥堵等，目标为各种实际交通参与者，检测效果如图7所示。

图7 Apollo平台虚拟与真实场景检测效果图

具体评价结果如图8和图9所示。从图中可以看出，在真实道路上检测效果有明显下降，主要原因是实际道路上尤其是拥堵时，车辆连接紧密，点云分割难度增加。该ROC曲线与平台开源的标准Adaboost分类器检测算法和文献［11］所使用的栅格地图模型匹配法相比表现均更优异，同时所有目标算法识别处理时间均小于10 ms，因此该方法能够满足无人车鲁棒性与实时性要求。

此外，使用真实无人驾驶车辆在实际道路上进行目标识别与跟踪实验。图10为目标跟踪效果图。图中右侧两辆目标车为跟踪研究对象，速度为相对速度。前方标注为car的车辆为搭载有OBD数据记录装置的预设车辆，后方标注为truck的车辆为测试数据关联稳定性的车辆。实验环境除真值车与干扰车外，还存在大量随机的社会车辆。

图8 ROC指标评价曲线图

图9 识别算法耗时图

可以看出，在近400帧的跟踪过程中，目标ID号（157、158号）始终保持不变，说明跟踪保持不断，数据关联一直正确。证明本文方法在存在多个目标的复杂交通场景下，能保持对目标的持续跟踪并正确关联。

图11为速度跟踪误差图。从图中可以发现，当被测车辆处于超车过程中时，测量误差较大；当被测车辆完成超车过程，回正直行时误差显著降低。主要原因是在超车过程中，被测车辆航向变化较大，激光点云形状处于较大变化，最近追踪点不断变化（第1帧、第101帧），而从第224帧完成超越开始，激光点云稳定为L型，测量误差开始减小。到目标远离且有遮挡后，误差又进一步增大。但最大误差不超过实际车速的10%，平均误差在3.435 km／h，能够满足无人车跟踪精度要求。

最后，为检验算法对小目标交叠和遮挡时的识别跟踪情况，选取行人远离车辆、行人靠近车辆、行人被车辆大面积遮挡、行人再次远离车辆这4个基本状态作为一个实验周期。图12为行人与车辆交叠、遮挡情况实景图，分别对应实验周期内4个基本状态。图13为整个实验过程识别结果图。可以发现，虽然当行人与车辆发生交叠和遮挡情况会导致行人的3D点云形状和密度发生了很大改变，且当行人被车辆大面积遮挡时（行人仅有头部露出车顶且高度不超过0.3 m），置信概率明显下降，但是通过对多特征的复合使用，依然能够通过点云密度和反射率的突变捕捉到行人被车辆遮挡后的剩余信息，且可以根据概率密度观测模型对行人轮廓进行补全，绘制出最小包络矩形［12］，且在整个实验过程中行人的跟踪ID号保持不变，这说明在当行人与车辆目标发生交叠和遮挡时可以通过帧间运动信息进行预测估计，整个过程中的识别算法和跟踪算法具有良好的可靠性。

图10 目标跟踪效果图

图11 跟踪速度误差图

5 结论

设计了一套基于三维激光点云数据的目标识别与跟踪方法。直接对三维激光点云数据进行处理，为减小计算量，先对点云过滤与分割。然后使用可变阈值进行聚类，输入用SVM分类器改进的Adaboost算法进行识别，得到三维拟合轮廓及分类。在目标跟踪阶段，应用最大熵模糊聚类进行数据关联，而后用粒子滤波器进行跟踪。设计的方法通过百度Apollo平台和自主开发的无人驾驶平台进行了验证，同时对小目标交叠和遮挡情况的识别跟踪效果进行实车验证。结果表明，该套方法实时性和鲁棒性均良好。

图12 行人与车辆交叠、遮挡情况实景图

图13 行人与车辆交叠、遮挡识别结果图

我们的服务类型

公开课程

人工智能、大数据、嵌入式                    

内训课程

普通内训、定制内训                         

项目咨询

技术路线设计、算法设计与实现（图像处理、自然语言处理、语音识别）