微商城网站建设怎么样,如何做网站描述,wordpress显示新闻,学校风采网站建设需求原文标题#xff1a;Domain Adaptive YOLO for One-Stage Cross-Domain Detection
中文标题#xff1a;面向单阶段跨域检测的域自适应YOLO 1、Abstract
域转移是目标检测器在实际应用中推广的主要挑战。两级检测器的域自适应新兴技术有助于解决这个问题。然而#xff0c;两… 原文标题Domain Adaptive YOLO for One-Stage Cross-Domain Detection
中文标题面向单阶段跨域检测的域自适应YOLO 1、Abstract
域转移是目标检测器在实际应用中推广的主要挑战。两级检测器的域自适应新兴技术有助于解决这个问题。然而两级检测器由于其耗时较长并不是工业应用的首选。本文提出了一种新颖的域自适应 YOLODA-YOLO来提高单级检测器的跨域性能。图像级特征对齐用于严格匹配纹理等局部特征并松散地匹配照明等全局特征。提出多尺度实例级特征对齐以有效减少实例域偏移例如目标外观和视点的变化。对这些域分类器进行共识正则化以帮助网络生成域不变检测。我们在 Cityscapes、KITTI、SIM10K 等流行数据集上评估我们提出的方法。在不同的跨域场景下进行测试时结果表明有显著的改进。
关键词域转移、域适应、单阶段检测器、YOLO 2、Introduction
2.1、目标检测面临的挑战
目标检测旨在对给定图像中感兴趣的目标进行定位和分类。近年来自深度卷积神经网络CNN出现以来大量成功的目标检测模型一直被提出。然而一个被称为“领域转移”的新挑战开始困扰计算机视觉社区。域漂移是指源域和目标域之间的分布不匹配导致性能下降。它是由图像的变化引起的包括不同的天气条件相机的视角图像质量等。以自动驾驶为例一个可靠的目标检测模型应该在任何情况下都能稳定地工作然而训练数据通常是在视野清晰的晴天收集的而实际上汽车可能会遇到恶劣的天气条件包括雪和雾导致能见度受到影响此外相机的位置在测试环境中可能会有所不同从而导致视点变化。
2.2、领域自适应的发展
理想情况下在目标域上重新标记是解决域转移问题的最直接的方法。但这种手工注释会带来昂贵的时间和经济成本。出于对无需注释方法的期望领域适应努力消除领域差异而无需对目标领域进行监督。领域自适应DA首先被广泛应用于分类任务中使用最大平均差异MMD等距离度量单位来衡量域偏移并监督模型学习领域不变特征。后来使用领域分类器和梯度反转层GRL的对抗训练策略被证明是一种更有效的学习鲁棒跨领域特征的方法。在训练阶段领域分类器对源域和目标域数据的区分能力逐渐提高骨干特征提取器学习生成更多的领域不可区分特征。最后特征提取器能够生成域不变特征。
2.3、域自适应目标检测
1用于目标检测的 DA 继承并扩展了相同的对抗训练思想。与分类 DA 类似检测 DA 对骨干特征提取器采用对抗性训练。然而除了分类之外目标检测器还需要对每个感兴趣的物体进行定位和分类。因此使用一个额外的域分类器对每个实例特征进行分类以促使特征提取器在实例级别上是域不变的。这种对抗性检测自适应方法是由Chen等人2018首创的他们使用Faster R-CNN作为基本检测器模型。随后的研究遵循了这一惯例Faster R-CNN成为了主要的领域自适应检测器。此外Faster R-CNN的两阶段特性使得它非常适合在实例级特征上应用域自适应。区域建议网络RPN和兴趣区域池ROI产生的统一实例级特征便于领域分类器直接使用。
2尽管 Faster R-CNN 很受欢迎并且可以方便地利用区域提议网络(RPN)但在时间性能至关重要的现实应用中Faster R-CNN 并不是理想选择。与 Faster R-CNN 相比YOLO (2016)是一种具有代表性的单阶段检测器由于其惊人的实时性能、简单性和便携性而成为更有利的选择。YOLOv3 (2018)是YOLO的流行版本广泛应用于工业领域包括视频监控、人群检测和自动驾驶。然而对单阶段检测器的域自适应研究仍然很少。
2.4、本文提出的方法
在本文中我们介绍了一种新颖的域自适应 YOLODA-YOLO它使用单级检测器 YOLOv3 执行域自适应。该模型的总体架构如下图1所示。首先我们提出回归图像对齐Regressive Image AlignmentRIA来减少图像级别的域差异。RIA 在 YOLOv3 特征提取器的不同层使用三个域分类器来预测特征图的域标签。然后它采用对抗性训练策略adversarial training strategy来对齐图像级别特征。通过为这些图像级域分类器分配不同的权重RIA 严格对齐局部特征并宽松地对齐全局特征。其次我们提出多尺度实例对齐Multi-Scale Instance AlignmentMSIA用于实例级域适应。由于没有两阶段检测器中的区域建议网络RPNMSIA 利用了 YOLOv3 的三尺度检测。MSIA 使用三个域分类器进行这些检测以对齐实例级特征。最后我们将多级一致性正则化Multi-Level Consensus RegularizationMLCR应用于域分类器以驱动网络产生域不变检测。 2.5、本文贡献
综上所述我们在本文中的贡献有三个方面
1)我们设计了两个新的领域自适应模块来解决领域移位问题。
2)我们提出了一种用于一级检测器的领域自适应范式。 据我们所知这是第一个提出统一一级检测器的图像级和实例级自适应的工作。
3)利用Cityscapes、Foggy Cityscapes、KITTI、SIM10K数据集进行了广泛的领域自适应实验。结果表明本文提出的自适应YOLO在不同的跨域场景下是有效的。 3、Related Works
3.1、Object Detection
随着深度神经网络的应用目标检测方法蓬勃发展。它们大致可分为两类两阶段法和单阶段法。R-CNN系列是两阶段检测器的代表首先生成兴趣区域提案然后对其进行分类。同时YOLO作为单阶段检测器的代表以其实时性成为应用广泛的一种检测器。YOLOv2 (2017) 和YOLOv3 (2018)是作为增量改进引入的集成了残差块等有效技术。YOLOv4 (2020)是各种技巧的组合可以实现最佳的速度和准确性。
3.2、Domain Adaptation
领域自适应旨在通过使用带注释的源域数据来提高模型在目标领域上的性能。首先通过匹配源域和目标域的边缘分布和条件分布将其应用到分类任务中。以往工作包括TCA(2010)、JDA(2013)、JAN(2017)。随着生成式对抗网络GAN(2014) 的出现对抗训练策略因其有效性而受到欢迎。事实证明该策略在学习领域不变特征方面非常有帮助并导致了一系列对抗性领域自适应的研究包括DANN(2016)DSN(2016)SAN(2018)等等。
3.3、Domain Adaptation for Object detection
Domain Adaptive Faster R-CNN(2018)使用两阶段检测器Faster R-CNN探索了目标检测的对抗性域自适应。后续若干研究遵循了两阶段的范式并做出了相当大的改进。尽管两级检测器便于域自适应但在工业应用中很少使用。在实际应用中单阶段探测器具有无可比拟的速度性能。因此将单阶段检测器与领域自适应相结合具有重要的意义但相关研究很少。这种情况促使我们开展本文提出的工作。
关于单阶段检测器的域自适应的研究有限。YOLO in the Dark Sasakawa and Nagahara (2020) 通过合并多个预先训练的模型来适应 YOLO。MS-DAYOLO (2021) 对 YOLO 模型采用多尺度图像级自适应。然而它没有考虑实例级自适应而实例级自适应被证明是同等甚至是更重要的。实例特征适应是一项更具挑战性的任务因为在单阶段检测器中没有两阶段检测器中的区域建议网络RPN。在本文中我们通过使用 YOLO 的检测来解决这个问题。
4、Conclusion
本文提出了一种有效的单阶段跨域自适应DA-YOLO算法。与以往的方法相比我们在单阶段检测器上建立了域自适应模型。此外我们还成功地为单阶段检测器引入了实例级自适应。在多个跨域数据集上的充分实验表明我们的方法优于先前基于Faster R-CNN的方法并且提出的三个域自适应模块都是有效的。
