MS-DAYOLO来了！多尺度域自适应的YOLO，恶劣天气也看得见！

点击上方“3D视觉车间，选择星标

第一时间送达干货

Multiscale Domain Adaptive YOLO for Cross-Domain ObjectDetection

论文：https://arxiv.org/abs/2106.01483

本文介绍了一种新的多尺度域自适应YOLO(MS-DAYOLO)框架，框架在YOLOv多个域自适应路径和相应的域分类器用于检测器的不同尺度，以产生域不变特性。

摘要

Domain Adaptation在解决许多应用程序中遇到的问题Domain Shift这个问题起着重要的作用。这个问题的出现是由于训练源数据的分布与实际测试场景中使用的目标数据的不同。

本文介绍了一种新的多尺度域自适应YOLO(MS-DAYOLO)框架，框架在YOLOv多个域自适应路径和相应的域分类器用于检测器的不同尺度，以产生域不变特性。实验表明，当使用本文提出的实验时MS-DAYOLO训练YOLOv4时，在自动驾驶应用中具有挑战性天气条件的目标数据上进行测试时，目标测试性能得到显著提高。

论文创新点

2.1 YOLO V4简述

相对于YOLO V3，YOLOv为了提高整体检测精度，包含了许多新的改进和新技术。

如图所示YOLOv4有3个主要部分:backbone、neck和head。

backbone负责提取不同尺度下的多层特征。

neck使用上采样层backbone三种不同尺度的特征聚集在一起，并输入它们head。

最后，head预测与每个边界框相关的目标周围边界框和类别概率。

本文作者的目标是将域适应应用于这三个特征(图中F1、F2、F3)使它们对不同尺度的域变化具有鲁棒性，使它们在基于域适应的训练中向域不变性收敛。

2.2 Domain Adaptive Network for YOLO

域自适应网络提出(DAN)只附加到训练中YOLOv4中学具有学习域不变的特点。在推理阶段，将使用原始推理YOLOv4适应训练在系统结构中的权重(无)DAN网络)。因此，本文提出的框架不会增加推理过程中底层检测器的复杂性。

DAN使用backbone输入三个不同的尺度特征。它有几个卷积层来预测域类。然后，用二元交叉熵计算域分类损失(Ldc):

这里 为第 训练图像ground truth域标签，其中 为源域， 为目标域。 是第 个训练图像在位置 的特征图。

DAN通过最小化这种上述损失来区分源域和目标域。另一方面，为了最大限度地学习域不变特征，对主干也进行了优化。因此，对于这2个域，backbone的特征应该是难以区分的。因此，这将提高目标域的目标检测性能。

为了解决联合最小化和最大化问题，作者采用了对抗学习策略。通过在backbone网络和DAN网络之间使用梯度反转层(GRL)来实现这个矛盾的目标。

GRL是一个双向算子，用于实现2个不同的优化目标。在前向传播方向上，GRL作为恒等算子。这导致了在DAN内执行局部反向传播时最小化分类错误的标准目标。另一方面，向主干网络反向传播时，GRL变成一个负标量 。因此，在这种情况下，它会导致最大的二分类错误，这种最大化促进了由backbone生成领域不变特征。

为了计算检测损失(ldt)，只使用源图像。因此，通过最小化ldt, YOLOv4的所有3个部分(即backbone, neck和head)都得到了优化。另一方面，利用源标记图像和目标未标记图像计算域分类损失(Ldc)，Ldc通过最小化来优化DAN, Ldc通过最大化来优化backbone。因此，Ldet和Ldc都被用来优化backbone。换句话说，通过最小化以下总损失，backbone被优化了：

其中 是GRL的一个负标量，用来平衡检测损失和域分类损失。事实上， 是用来优化DAN对backbone的影响。

2.3 DAN Architecture

与在Domain Adaptive Faster R-CNN架构中只对特征提取器的最终尺度应用域自适应不同，本文分别开发了3个尺度的域自适应来解决梯度消失问题。也就是说，只对最终的尺度(F3)进行域自适应，由于之前的尺度(F1和F2)之间有很多层，存在梯度消失的问题，因此对之前的尺度(F1和F2)没有显著影响。

因此，作者采用了一个多尺度策略，将主干的三个特征F1、F2和F3通过三个相应的grl连接到DAN，如图2所示。对于每个尺度，GRL之后有2个卷积层，第1个卷积层将特征通道减少一半，第2个卷积层预测域类概率。最后，利用域分类器层计算域分类损失。

框架结构

3.1 Clear=>Foggy

从这些结果可以看出，将域自适应应用于所有3个特征尺度提高了目标域的检测性能，取得了最好的结果。此外，作者提出的MS-DAYOLO在性能上大大优于原来的YOLOv4方法，几乎达到了理想(oracle)场景的性能。

3.2 Sunny=>Rainy

结果如表2所示。在2个数据集中，本文的方法都比原始的YOLO得到了明显的性能提升。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~