四川住房城乡建设网站,photoshop软件,网络营销的整体概念,wordpress 代码在哪里修改目录
摘要
1 方法
■ DIP模块
▲像素级滤波器
▲锐化滤波器
▲去雾滤波器
■ CNN-PP Module
■ 检测网络模块
■ 混合数据训练
2 实验
■ 实现细节
■ 有雾图像上的实验
■ 低照度图像上的实验
■ 消融研究
■ 有效分析
结论 论文题目#xff1a;Image-Adapti… 目录
摘要
1 方法
■ DIP模块
▲像素级滤波器
▲锐化滤波器
▲去雾滤波器
■ CNN-PP Module
■ 检测网络模块
■ 混合数据训练
2 实验
■ 实现细节
■ 有雾图像上的实验
■ 低照度图像上的实验
■ 消融研究
■ 有效分析
结论 论文题目Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions(用于恶劣天气条件下的目标检测的图像自适应Yolo) 论文地址https://arxiv.org/pdf/2112.08088 论文代码https://github.com/wenyyu/ImageAdaptive-YOLO 发表时间2022/7/4 作者单位浙江大学计算机科学与技术学院、阿里巴巴-浙江大学联合前沿技术研究院、达摩书院、阿里巴巴集团、香港科技大学、香港理工大学 摘要
尽管基于深度学习的目标检测方法在传统数据集上取得了很好的效果但从恶劣天气条件下拍摄的低质量图像中定位目标仍然具有挑战性。现有方法要么在平衡图像增强和目标检测任务上存在困难要么往往忽略了对检测有利的潜在信息。为了缓解这个问题提出了一种新颖的图像自适应YOLO(IA-YOLO)框架其中每张图像都可以进行自适应增强以获得更好的检测性能。具体来说针对YOLO探测器的恶劣气象条件提出了一种可微图像处理(DIP)模块其参数由一个小型卷积神经网络(CNN-PP)预测。以端到端的方式联合学习CNN-PP和YOLOv3保证了CNN-PP能够以弱监督的方式学习到合适的DIP来增强待检测图像。我们提出的IA-YOLO方法可以自适应地处理正常和恶劣天气条件下的图像。实验结果非常令人鼓舞证明了我们提出的IA-YOLO方法在雾天和低光照场景下的有效性。
图1在真实世界的有雾环境中我们的方法可以自适应地输出更清晰的图像并且物体边界周围的边缘更清晰从而以更少的缺失实例产生更高的置信度检测结果。 本文工作的亮点在于 1)提出了一种图像自适应的检测框架在正常和恶劣天气条件下都取得了良好的性能 2)提出了一种白盒可微图像处理模块其超参数由弱监督参数预测网络预测 3)在合成数据集( VOC_Foggy和VOC_Dark)和真实数据集(RTTS和ExDark)上与之前的方法相比取得了令人鼓舞的实验结果。 1 方法
在恶劣天气条件下拍摄的图像由于天气特有信息的干扰能见度较差造成目标检测困难。为了应对这一挑战提出了一种图像自适应的检测框架通过去除天气特有的信息揭示更多的潜在信息。如图2所示整个管道由基于卷积神经网络的参数预测器( CNNPP )、可微图像处理模块(DIP)和检测网络组成。 首先将输入图像调整为256×256大小并将其输入到CNN-PP中预测DIP的参数。
然后将DIP模块滤波后的图像作为YOLOv3检测器的输入。
提出了一种带有检测损失的端到端混合数据训练方案使得CNN-PP能够以弱监督的方式学习一个合适的DIP来增强用于目标检测的图像。
■ DIP模块
对于基于梯度优化的CNNPP滤波器应该是可微的以便通过反向传播来训练网络。由于CNN在处理高分辨率图像(例如4000×3000)时会消耗大量的计算资源本文从尺寸为256×256的下采样低分辨率图像中学习滤波器参数然后将相同的滤波器应用到原始分辨率的图像中。因此这些滤波器需要独立于图像分辨率。
提出的DIP模块由六个可调超参数的可微滤波器组成包括Defog、White Balance ( WB )、Gamma、Contrast、Tone和Sharpen。与( Hu等2018)一样标准的颜色和色调算子如WBGamma对比度和色调可以表示为像素级滤波器。因此设计的滤波器可以分为Defog滤波器、像素级滤波器和Sharpen滤波器。在这些滤波器中Defog滤波器是专门为雾天场景设计的。
▲像素级滤波器
逐像素滤波器将输入像素值Pi(ri , gi , bi)映射为输出像素值Po(ro , go , bo)其中(r , g , b)分别表示红、绿、蓝3个颜色通道的值。四个像素级滤波器的映射函数列于表1中其中第二列列出了方法中需要优化的参数。WB和Gamma是简单的乘法和幂变换。显然它们的映射函数关于输入图像和参数都是可微的。
表1像素级滤波器的映射函数。 通过一个输入参数设计可微对比度滤波器来设置原始图像和完全增强图像之间的线性插值。如表1所示映射函数中En(Pi)的定义如下见公式1、2、3 将tone滤波器设计为单调和分段线性函数。学习具有L个参数的色调滤波器表示为{t0t1..tL-1}。色调曲线上的点记为( k/L , Tk/TL)其中。此外映射函数由可微参数表示这使得函数关于输入图像和参数{ t0t1..tL-1 }均可微见公式4 ▲锐化滤波器
图像锐化可以突出图像细节。与反锐化掩模技术一样锐化过程可以描述如下见公式5 其中I(x)是输入图像Gau(I(x))是高斯滤波器λ是一个正尺度因子。这种锐化操作对x和λ都是可微的。需要注意的是可以通过优化λ来调整锐化程度以获得更好的目标检测性能。
▲去雾滤波器
受暗通道先验方法的启发设计了一个具有可学习参数的去雾滤波器。基于大气散射模型雾天图像的形成可以表述如下见公式6 其中I(x)表示有雾图像J(x)表示场景辐射亮度(干净图像)。A为全球大气光t(x)为介质透射图定义见公式7 其中β表示大气的散射系数d(x)为场景深度。
为了恢复干净的图像J(x)关键是获取大气光A和透射图t(x)。为此首先计算雾天图像I(x)的暗通道图并挑选前1000个最亮的像素。然后通过对雾天图像I(x)的对应位置的1000个像素取平均来估计A。可以得到t(x)的一个近似解见公式8 进一步引入一个参数ω来控制去雾的程度见公式9 由于上述操作是可微的可以通过反向传播来优化ω使去雾滤波器更有利于雾天图像检测。
图8学习到的DIP模块及其滤波输出示例。图像自适应处理模块可以根据每幅输入图像的亮度、颜色、色调和天气信息输出相应的滤波器参数从而获得更好的检测性能。 ■ CNN-PP Module
在相机图像信号处理(ISP)管道中通常使用一些可调滤波器进行图像增强其超参数由经验丰富的工程师通过视觉检查手动调节以找到适合广泛的场景参数。一般来说这样的调优过程是非常笨拙和昂贵的。为了解决这个限制建议使用一个小的CNN作为参数预测器来估计超参数这是非常有效的。
以雾天场景为例CNN-PP的目的是通过理解图像的全局内容如亮度、颜色和色调以及雾的程度来预测DIP的参数。因此降采样后的图像足以估计这些信息可以大大节省计算成本。给定一幅任意分辨率的输入图像简单地使用双线性插值将其下采样到256×256分辨率。如图2CNN-PP网络由5个卷积块和2个全连接层组成。每个卷积块包括一个步长为2的3×3卷积层和一个leaky Relu。最后的全连接层为DIP模块输出超参数。这五个卷积层的输出通道分别为16、32、32、32和32。当参数总数为15时CNN-PP模型仅包含165K个参数。 ■ 检测网络模块
本文选择在实际应用中广泛使用的单级检测器YOLOv3作为检测网络包括图像编辑、安防监控、人群检测和自动驾驶。与之前版本相比YOLOv3基于Resnet的思想设计了由连续3×3和1×1卷积层组成的darknet-53。它通过对多尺度特征图进行预测来实现多尺度训练从而进一步提高检测精度特别是对小目标的检测。我们采用与原始YOLOv3相同的网络架构和损失函数。
■ 混合数据训练
为了在正常和恶劣天气条件下都能达到理想的效果采用了一种针对IA-YOLO的混合数据训练方案。算法1总结了提出的方法的训练过程。 每幅图像有2/3的概率被随机添加某种雾气或转化为低照度图像后输入到网络中进行训练。利用正常和合成的低质量训练数据使用YOLOv3检测损失对整个流水线进行端到端的训练保证了IA-YOLO中各个模块能够相互适应。因此CNN-PP模块在没有人工标注真值图像的情况下受到检测损失的弱监督。混合数据训练模式保证了IA-YOLO能够根据每幅图像的内容自适应地处理图像从而达到较高的检测性能。
2 实验
我们评估了我们的方法在雾天和低光照场景下的有效性。滤波器组合为[去雾,白平衡( WB ) , Gamma ,对比度,色调,锐化]而Defog滤波器只在雾天条件下使用。
■ 实现细节
在提出的IA-YOLO方法中所有实验的骨干网为Darknet-53。在训练过程中我们随机调整图像大小为(32N×32N)其中N∈[9、19]。此外采用图像翻转、裁剪和变换等数据增强方法扩充训练数据集。我们的IA-YOLO模型由Adam优化器以80个epochs进行训练。起始学习率为0.0001批次大小为6。IA-YOLO在三个不同尺度下预测边界框每个尺度下预测三个锚点。使用Tensorflow进行实验并在Tesla V100 GPU上运行。
■ 有雾图像上的实验
图3YOLOv3 II (第1、3、5列)和IA-YOLO (第2、4和6列)在合成VOC_Foggy_test图像(上排)和真实RTTS有雾图像(下排)上的检测结果。所提方法通过学习减少雾霾和锐化图像边缘具有更好的检测性能漏检和误检较少。 图7不同方法在真实RTTS雾天图像上的检测结果。从左到右依次为YOLOv3 II、Gird DehazeYOLOv3 I、MSBDNYOLOv3 I和IA-YOLO。所提方法学习减少雾霾增强图像对比度从而以更少的漏检和误检获得更好的检测性能。 ■ 低照度图像上的实验
图4给出了IA-YOLO与基准YOLOv3Ⅱ的定性比较。可以看出我们提出的DIP模块能够自适应地增加输入图像的对比度并揭示图像细节这对于目标检测至关重要。 ■ 消融研究
表5DIP模块中滤波器的消融分析。 ■ 有效分析
表7不同方法的有效分析。 在IA-YOLO框架中在YOLOv3中引入了一个具有165K可训练参数的小型CNNPP学习模块。IA-YOLO在单个Tesla V100 GPU上检测一幅544×544×3分辨率图像耗时44 ms。与YOLOv3基线相比它仅增加了13 ms比GridDehaze-YOLOv3和MSBDNYOLOv3分别快7 ms和50 ms。综上所述IA-YOLO只增加了165K的可训练参数同时在运行时间相当的所有测试数据集上取得了更好的性能。
结论
提出了一种新颖的IA-YOLO方法来改善恶劣天气条件下的目标检测其中每个输入图像都进行了自适应增强以获得更好的检测性能。开发了一个完全可微的图像处理模块通过去除YOLO探测器的天气特异性信息来恢复潜在内容其超参数由小型卷积神经网络预测。此外整个框架以端到端的方式进行训练其中参数预测网络通过检测损失进行弱监督学习一个合适的DIP模块。通过利用混合训练和参数预测网络的优势提出的方法能够自适应地处理正常和不良天气条件。实验结果表明我们的方法在雾天和低光照场景下的表现都比以前的方法要好得多。 至此本文的内容就结束了。
