2021年小目标检测最新研究综述 很全面值得收藏

引 言

1 小目标的定义和难点分析

1.1 小目标定义

不同的场景对小目标有不同的定义，目前还没有形成统一的标准。现有的小目标定义方法主要分为以下两类，即基于相对尺度和绝对尺度的定义。

(1)基于相对尺度的定义。也就是说，从目标和图像的相对比例来定义小目标。Chen等待11提出一个针对小目标的数据集，并定义了小目标：同一类别中所有目标实例的相对面积，即边界框面积与图像面积之比的中位数为0.08%~0.58%之间。本文还对小目标的定义提出了更具体的说法，如640像素×在480像素分辨率图像中，16像素×16像素到42像素×42像素的目标应考虑为小目标。除了Chen除了定义小目标外，还有以下几种常见的方法：（1）目标边界框的宽度和图像的宽度比小于一定值，更常见的比例值为0.1；(2)目标边界框面积与图像面积的比值开方小于一定值，通用值为0.03；(3)根据实际目标覆盖像素与图像总像素的比例定义小目标。

然而，基于相对规模的定义存在许多问题，例如，很难有效地评估模型对不同规模目标的检测性能。此外，该定义很容易受到数据预处理和模型结构的影响。

(2)基于绝对尺度的定义。从目标绝对像素的大小来定义小目标。目前最常见的定义来自目标检测领域的通用数据集——MS COCO将小目标定义为分辨率小于32像素×32像素的目标。为什么32像素×本文从两个方向思考了32像素。一个想法来自Torralba在12的研究中，人类可以有效地识别场景所需的彩色图像素大小为32像素×32像素，即小于32像素×人类很难识别32像素的目标。另一个想法来自于深度学习中神经网络本身的结构MS COCO同年发布的经典网络结构数据集第一部分VGG?Net13例如，从输入图像到全连接层的特征向量通过了5个最大池层，导致输入图像上最终特征向量对应的像素大小为32像素×32像素。因此，从不同特征提取难度的角度来看，可以考虑32像素×32像素是区分小目标和常规目标的定义标准。除了MS COCO此外，还有其他基于绝对规模的定义，如航空图像数据集DOTA14人脸检测数据集WIDER FACE15像素值在10， 50目标定义为小目标。行人识别数据集CityPersons16针对行人的特殊比例，将小目标定义为高度小于75像素的目标。基于航空图像的小行人数据集TinyPerson17将小目标定义为20， 32之间的目标，近一步将像素值范围在2， 20之间的目标被定义为小目标。

1.2 小目标检测面临的挑战

本文简要阐述了小目标的主流定义。通过这些定义，我们可以发现小目标像素的比例较小，覆盖面积较小，信息较少。这些特征在以前的评论或论文中也经常被提及，但很少分析和总结小目标测试的困难。接下来，本文将试图分析和总结小目标测试困难的原因及其面临的挑战。

（1） 功能少

无论是基于绝对尺度还是基于相对尺度的定义，与大/中尺度目标相比，小目标的分辨率都很低。分辨率低的小目标可视化信息少，难以提取具有识别能力的特征，容易受到环境因素的干扰，导致检测模型难以准确定位和识别小目标。

（2） 定位精度要求高

图1 与大/中尺度相比，小目标匹配的锚框数量较少

Fig.1 Small?size objects match with fewer anchors than large/medium objects

（3） 现有数据集中小目标所占比例较小

在目标检测领域，现有数据集大多针对大/中尺寸目标，对小目标的关注较少。MS COCO虽然小目标占比较高，但达到31.62%，但每幅图像包含的例子太多，小目标分布不均匀。同时，小目标不容易标记。一方面，小目标不容易被人类注意到，也很难标记；另一方面，小目标对标记误差更敏感。此外，现有的小目标数据集往往针对特定场景，如空中视野下的文献14图像、文献15人脸、文献1617针对行人，文献18针对交通灯，文献19针对乐谱音符，使用这些数据集训练的网络不适用于通用的小目标检测。总的来说，大规模的通用小目标数据集尚处于缺乏状态，现有的算法没有足够的先验信息进行学习，导致了小目标检测性能不足。

（4） 样本不均衡问题

为了定位目标在图像中的位置，现有的方法大多是预先在图像的每个位置生成一系列的锚框。在训练的过程中，通过设定固定的阈值来判断锚框属于正样本还是负样本。这种方式导致了模型训练过程中不同尺寸目标的正样本不均衡问题。当人工设定的锚框与小目标的真实边界框差异较大时，小目标的训练正样本将远远小于大/中尺度目标的正样本，这将导致训练的模型更加关注大/中尺度目标的检测，而忽略小目标的检测。如何解决锚框机制导致的小目标和大/中尺度目标样本不均衡问题也是当前面临的一大挑战。

（5） 小目标聚集问题

相对于大/中尺度目标，小目标具有更大概率产生聚集现象。当小目标聚集出现时，聚集区域相邻的小目标通过多次降采样后，反应到深层特征图上将聚合成一个点，导致检测模型无法区分。当同类小目标密集出现时，预测的边界框还可能会因后处理的非极大值抑制操作将大量正确预测的边界框过滤，从而导致漏检情况。另外，聚集区域的小目标之间边界框距离过近，还将导致边界框难以回归，模型难以收敛。

（6） 网络结构原因

在目标检测领域，现有算法的设计往往更为关注大/中尺度目标的检测性能。针对小目标特性的优化设计并不多，加之小目标自身特性所带来的难度，导致现有算法在小目标检测上普遍表现不佳。虽然无锚框的检测器设计是一个新的发展趋势，但是现有网络依旧是基于锚框的检测器占据主流，而锚框这一设计恰恰对小目标极不友好。此外，在现有网络的训练过程中，小目标由于训练样本占比少，对于损失函数的贡献少，从而进一步减弱了网络对于小目标的学习能力。

2 小目标检测研究思路

2.1　数据增强

数据增强是一种提升小目标检测性能的最简单和有效的方法，通过不同的数据增强策略可以扩充训练数据集的规模，丰富数据集的多样性，从而增强检测模型的鲁棒性和泛化能力。在相对早期的研究中，Yaeger等［20］通过使用扭曲变形、旋转和缩放等数据增强方法显著提升了手写体识别的精度。之后，数据增强中又衍生出了弹性变形［21］、随机裁剪［22］和平移［23］等策略。目前，这些数据增强策略已被广泛应用于目标检测中。

近些年来，基于深度学习的卷积神经网络在处理计算机视觉任务中获得了巨大的成功。深度学习的成功很大程度上归功于数据集的规模和质量，大规模和高质量的数据能够大幅度提升模型的泛化能力。数据增强策略在目标检测领域有着广泛应用，例如Fast R‑CNN［24］、Cascade R‑CNN［25］中使用的水平翻转，YOLO［26］、YOLO9000［27］中使用的调整图像曝光和饱和度，还有常被使用的CutOut［28］、MixUp［29］、CutMix［30］等方法。最近，更是有诸如马赛克增强（YOLOv4［31］）、保持增强［32］等创新策略提出，但是这些数据增强策略主要是针对常规目标检测。

表1 适用于小目标的5种数据增强方法

Table 1 Five data augmentation methods for small objects

数据增强这一策略虽然在一定程度上解决了小目标信息量少、缺乏外貌特征和纹理等问题，有效提高了网络的泛化能力，在最终检测性能上获得了较好的效果，但同时带来了计算成本的增加。而且在实际应用中，往往需要针对目标特性做出优化，设计不当的数据增强策略可能会引入新的噪声，损害特征提取的性能，这也给算法的设计带来了挑战。

2.2　多尺度学习

小目标与常规目标相比可利用的像素较少，难以提取到较好的特征，而且随着网络层数的增加，小目标的特征信息与位置信息也逐渐丢失，难以被网络检测。这些特性导致小目标同时需要深层语义信息与浅层表征信息，而多尺度学习将这两种相结合，是一种提升小目标检测性能的有效策略。

图2 多尺度学习的4种方式

Fig.2 Four ways of multi‑scale learning

目标检测中的经典网络如Fast R‑CNN［24］、Faster R‑CNN［44］、SPPNet［45］和R‑FCN［46］等大多只是利用了深度神经网络的最后层来进行预测。然而，由于空间和细节特征信息的丢失，难以在深层特征图中检测小目标。在深度神经网络中，浅层的感受野更小，语义信息弱，上下文信息缺乏，但是可以获得更多空间和细节特征信息。从这一思路出发，Liu等［47］提出一种多尺度目标检测算法SSD（Single shot multibox detector），利用较浅层的特征图来检测较小的目标，而利用较深层的特征图来检测较大的目标，如图2（b）所示。Cai等［48］针对小目标信息少，难以匹配常规网络的问题，提出统一多尺度深度卷积神经网络，通过使用反卷积层来提高特征图的分辨率，在减少内存和计算成本的同时显著提升了小目标的检测性能。

针对小目标易受环境干扰问题，Bell等［49］为提出了ION（Inside‑outside network）目标检测方法，通过从不同尺度特征图中裁剪出同一感兴趣区域的特征，然后综合这些多尺特征来预测，以达到提升检测性能的目的。与ION的思想相似，Kong等［50］提出了一种有效的多尺度融合网络，即HyperNet，通过综合浅层的高分辨率特征和深层的语义特征以及中间层特征的信息显著提高了召回率，进而提高了小目标检测的性能（见图2（c））。这些方法能有效利用不同尺度的信息，是提升小目标特征表达的一种有效手段。但是，不同尺度之间存在大量重复计算，对于内存和计算成本的开销较大。

为节省计算资源并获得更好的特征融合效果，Lin等［51］结合单一特征映射、金字塔特征层次和综合特征的优点，提出了特征金字塔FPN（Feature Pyramid network）。FPN是目前最流行的多尺度网络，它引入了一种自底向上、自顶向下的网络结构，通过将相邻层的特征融合以达到特征增强的目的（见图2（d））。在FPN的基础上，Liang等［52］提出了一种深度特征金字塔网络，使用具有横向连接的特征金字塔结构加强小目标的语义特征，并辅以特别设计的锚框和损失函数训练网络。为了提高小目标的检测速度，Cao等［53］提出一种多层次特征融合算法，即特征融合SSD，在SSD的基础上引入上下文信息，较好地平衡了小目标检测的速度与精度。但是基于SSD的特征金字塔方法需要从网络的不同层中抽取不同尺度的特征图进行预测，难以充分融合不同尺度的特征。针对这一问题，Li和Zhou［54］提出一种特征融合单次多箱探测器，使用一个轻量级的特征融合模块，联系并融合各层特征到一个较大的尺度，然后在得到的特征图上构造特征金字塔用于检测，在牺牲较少速度的情形下提高了对小目标的检测性能。针对机场视频监控中的小目标识别准确率较低的问题，韩松臣等［55］提出了一种结合多尺度特征融合与在线难例挖掘的机场路面小目标检测方法，该方法采用ResNet‑101作为特征提取网络，并在该网络基础上建立了一个带有上采样的“自顶向下”的特征融合模块，以生成语义信息更加丰富的高分辨率特征图。

最近，多尺度特征融合这一方法又有了新的拓展，如Nayan等［56］针对小目标经过多层网络特征信息易丢失这一问题，提出了一种新的实时检测算法，该算法使用上采样和跳跃连接在训练过程中提取不同网络深度的多尺度特征，显著提高了小目标检测的检测精度与速度。Liu等［57］为了降低高分辨率图像的计算成本，提出了一种高分辨率检测网络，通过使用浅层网络处理高分辨率图像和深层网络处理低分辨率图像，在保留小目标尽可能多的位置信息同时提取了更多的语义信息，在降低计算成本的情形下提升了小目标的检测性能。Deng等［58］发现虽然多尺度融合可以有效提升小目标检测性能，但是不同尺度的特征耦合仍然会影响性能，于是提出了一种扩展特征金字塔网络，使用额外的高分辨率金字塔级专门用于小目标检测。

总体来说，多尺度特征融合同时考虑了浅层的表征信息和深层的语义信息，有利于小目标的特征提取，能够有效地提升小目标检测性能。然而，现有多尺度学习方法在提高检测性能的同时也增加了额外的计算量，并且在特征融合过程中难以避免干扰噪声的影响，这些问题导致了基于多尺度学习的小目标检测性能难以得到进一步提升。

2.3　上下文学习

在真实世界中，“目标与场景”和“目标与目标”之间通常存在一种共存关系，通过利用这种关系将有助于提升小目标的检测性能。在深度学习之前，已有研究［59］证明通过对上下文进行适当的建模可以提升目标检测性能，尤其是对于小目标这种外观特征不明显的目标。随着深度神经网络的广泛应用，一些研究也试图将目标周围的上下文集成到深度神经网络中，并取得了一定的成效。以下将从基于隐式上下文特征学习和基于显式上下文推理的目标检测两个方面对国内外研究现状及发展动态进行简要综述。

图3 上下文在目标检测中的探索历程

Fig.3 Exploration of context in object detection

2.4　生成对抗学习

生成对抗学习的方法旨在通过将低分辨率小目标的特征映射成与高分辨率目标等价的特征，从而达到与尺寸较大目标同等的检测性能。前文所提到的数据增强、特征融合和上下文学习等方法虽然可以有效地提升小目标检测性能，但是这些方法带来的性能增益往往受限于计算成本。针对小目标分辨率低问题，Haris等［85］提出一种端到端的联合训练超分辨率和检测模型的方法，该方法一定程度上提升了低分辨率目标的检测性能。但是，这种方法对于训练数据集要求较高，并且对小目标检测性能的提升不足。

目前，一种有效的方法是通过结合生成对抗网络（Generative adversarial network， GAN）［86］来提高小目标的分辨率，缩小小目标与大/中尺度目标之间的特征差异，增强小目标的特征表达，进而提高小目标检测的性能。在Radford等［87］提出了DCGAN（Deep convolutional GAN）后，计算视觉的诸多任务开始利用生成对抗模型来解决具体任务中面临的问题。针对训练样本不足的问题，Sixt等［88］提出了RenderGAN，该网络通过对抗学习来生成更多的图像，从而达到数据增强的目的。为了增强检测模型的鲁棒性，Wang等［89］通过自动生成包含遮挡和变形特征的样本，以此提高对困难目标的检测性能。随后，Li等［90］提出了一种专门针对小目标检测的感知GAN方法，该方法通过生成器和鉴别器相互对抗的方式来学习小目标的高分辨率特征表示。在感知GAN中，生成器将小目标表征转换为与真实大目标足够相似的超分辨表征。同时，判别器与生成器对抗以识别生成的表征，并对生成器施加条件要求。该方法通过生成器和鉴别器相互对抗的方式来学习小目标的高分辨率特征表示。这项工作将小目标的表征提升为“超分辨”表征，实现了与大目标相似的特性，获得了更好的小目标检测性能。

近年来，基于GAN对小目标进行超分辨率重建的研究有所发展，Bai等［91］提出了一种针对小目标的多任务生成对抗网络（Multi‑task generative adversarial network， MTGAN）。在MTGAN中，生成器是一个超分辨率网络，可以将小模糊图像上采样到精细图像中，并恢复详细信息以便更准确地检测。判别器是多任务网络，区分真实图像与超分辨率图像并输出类别得分和边界框回归偏移量。此外，为了使生成器恢复更多细节以便于检测，判别器中的分类和回归损失在训练期间反向传播到生成器中。MTGAN由于能够从模糊的小目标中恢复清晰的超分辨目标，因此大幅度提升了小目标的检测性能。进一步地，针对现有的用于小目标检测的超分辨率模型存在缺乏直接的监督问题，Noh等［92］提出一种新的特征级别的超分辨率方法，该方法通过空洞卷积的方式使生成的高分辨率目标特征与特征提取器生成的低分辨率特征保持相同的感受野大小，从而避免了因感受野不匹配而生成错误超分特征的问题。此外，Deng等［58］设计了一种扩展特征金字塔网络，该网络通过设计的特征纹理模块生成超高分辨率的金字塔层，从而丰富了小目标的特征信息。

基于生成对抗模型的目标检测算法通过增强小目标的特征信息，可以显著提升检测性能。同时，利用生成对抗模型来超分小目标这一步骤无需任何特别的结构设计，能够轻易地将已有的生成对抗模型和检测模型相结合。但是，目前依旧面临两个无法避免的问题：（1）生成对抗网络难以训练，不易在生成器和鉴别器之间取得好的平衡；（2）生成器在训练过程中产生样本的多样性有限，训练到一定程度后对于性能的提升有限。

2.5　无锚机制

锚框机制在目标检测中扮演着重要的角色。许多先进的目标检测方法都是基于锚框机制而设计的，但是锚框这一设计对于小目标的检测极不友好。现有的锚框设计难以获得平衡小目标召回率与计算成本之间的矛盾，而且这种方式导致了小目标的正样本与大目标的正样本极度不均衡，使得模型更加关注于大目标的检测性能，从而忽视了小目标的检测。极端情况下，设计的锚框如果远远大于小目标，那么小目标将会出现无正样本的情况。小目标正样本的缺失，将使得算法只能学习到适用于较大目标的检测模型。此外，锚框的使用引入了大量的超参，比如锚框的数量、宽高比和大小等，使得网络难以训练，不易提升小目标的检测性能。近些年无锚机制的方法成为了研究热点，并在小目标检测上取得了较好效果。

图4 无锚机制的4种形式

Fig.4 Four ways of anchor‑free methods

为了进一步提高目标检测性能，Duan等［97］提出了一种基于中心预测的目标检测框架，称为CenterNet（见图4（b））。CenterNet首先预左上角和右下角的角点以及中心关键点，然后通过角点匹配确定边界框，最后利用预测的中心点消除角点不匹配引起的不正确的边界框。与CenterNet类似，Zhou等［98］通过对极值点和中心点进行匹配，提出了一种自下而上的目标检测网络，称为ExtremeNet。ExtremeNet首先使用一个标准的关键点估计网络来预测最上面、最下面、最左边、最右边的4个极值点和中心点，然后在5个点几何对齐的情况下对它们进行分组以生成边界框。但是ExtremeNet和CornerNet等基于关键点的检测网络都需要经过一个关键点分组阶段，这降低了算法整体的速度。针对这一问题，Zhou等［99］将目标建模为其一个单点，即边界框中心点，无需对构建点进行分组或其他后处理操作。然后在探测器使用关键点估计来查找中心点，并回归到所有其他对象属性，如大小、位置等。这一方法很好地平衡了检测的精度与速度。

2.6　其他优化策略

在小目标检测这一领域，除了前文所总结的几个大类外，还有诸多优秀的方法。针对小目标训练样本少的问题，Kisantal等［33］提出了一种过采样策略，通过增加小目标对于损失函数的贡献，以此提升小目标检测的性能。除了增加小目标样本权重这一思路之外，另一种思路则是通过增加专用于小目标的锚框数量来提高检测性能。Zhang等［107］提出了一种密集锚框策略，通过在一个感受野中心设计多个锚框来提升小目标的召回率。与密集锚框策略相近，Zhang等［108］设计了一种基于有效感受野和等比例区间界定锚框尺度的方法，并提出一种尺度补偿锚框匹配策略来提高小人脸目标的召回率。增加锚框数量对于提升小目标检测精度十分有效，同时也额外增加了巨大的计算成本。Eggert等［109］从锚框尺度的优化这一角度入手，通过推导小目标尺寸之间的联系，为小目标选择合适的锚框尺度，在商标检测上获得了较好的检测效果。之后，Wang等［110］提出了一种基于语义特征的引导锚定策略，通过同时预测目标中心可能存在的位置及目标的的尺度和纵横比，提高了小目标检测的性能。此外，这种策略可以集成到任何基于锚框的方法中。但是，这些改进没有实质性地平衡检测精度与计算成本之间的矛盾。

近些年来，随着计算资源的增加，越来越多的网络使用级联思想来平衡目标漏检率与误检率。级联这一思想来源已久［111］，并在目标检测领域得到了广泛的应用。它采用了从粗到细的检测理念：用简单的计算过滤掉大多数简单的背景窗口，然后用复杂的窗口来处理那些更困难的窗口。随着深度学习时代的到来，Cai等［25］提出了经典网络Cascade R‑CNN，通过级联几个基于不同IoU阈值的检测网络达到不断优化预测结果的目的。之后，Li等［112］在Cascade R‑CNN的基础上进行了扩展，进一步提升了小目标检测性能。受到级联这一思想的启发，Liu等［113］提出了一种渐近定位策略，通过不断增加IoU阈值来提升行人检测的检测精度。另外，文献［114‑116］展现了级联网络在困难目标检测上的应用，也一定程度上提升了小目标的检测性能。

另外一种思路则是分阶段检测，通过不同层级之间的配合平衡漏检与误检之间的矛盾。Chen等［117］提出一种双重探测器，其中第一尺度探测器最大限度地检测小目标，第二尺度探测器则检测第一尺度探测器无法识别的物体。进一步地，Drenkow等［118］设计了一种更加高效的目标检测方法，该方法首先在低分辨率下检查整个场景，然后使用前一阶段生成的显著性地图指导后续高分辨率下的目标检测。这种方式很好地权衡了检测精度和检测速度。此外，文献［119‑121］针对空中视野图像中的困难目标识别进行了前后景的分割，区分出重要区域与非重要区域，在提高检测性能的同时也减少了计算成本。

优化损失函数也是一种提升小目标检测性能的有效方法。Redmon等［26］发现，在网络的训练过程中，小目标更容易受到随机误差的影响。随后，他们针对这一问题进行了改进［27］，提出一种依据目标尺寸设定不同权重的损失函数，实现了小目标检测性能的提升。Lin等［122］则针对类别不均衡问题，在RetinaNet中提出了焦距损失，有效解决了训练过程中存在的前景‑背景类不平衡问题。进一步地，Zhang等［123］将级联思想与焦距损失相结合，提出了Cascade RetinaNet，进一步提高了小目标检测的精度。针对小目标容易出现的前景与背景不均衡问题，Deng等［58］则提出了一种考虑前景‑背景之间平衡的损失函数，通过全局重建损失和正样本块损失提高前景与背景的特征质量，进而提升了小目标检测的性能。

为了权衡考虑小目标的检测精度和速度，Sun等［124］提出了一种多接受域和小目标聚焦弱监督分割网络，通过使用多个接收域块来关注目标及其相邻背景，并依据不同空间位置设置权重，以达到增强特征可辨识性的目的。此外，Yoo等［125］将多目标检测任务重新表述为边界框的密度估计问题，提出了一种混合密度目标检测器，通过问题的转换避免了真值框与预测框匹配以及启发式锚框设计等繁琐过程，也一定程度上解决了前景与背景不平衡的问题。

3 数据集介绍及性能评估

表2 小目标检测数据集

Table 2 Small object detection datasets

表3 MS COCO 数据集上的简要性能评估

Table 3 Performance evaluation on MS COCO dataset

表4 WiderFace数据集上的简要性能评估

Table 4 Performance evaluation on WIDER FACE dataset