高端网站建设南宁,厦门网站建设优化,企业网站每年续费吗,网站建设管理规定前言#xff1a;ICCV2021图像单帧运动去糊论文 论文地址#xff1a;【here】 代码地址#xff1a;【here】
Rethinking Coarse-to-Fine Approach in Single Image Deblurring
引言
图像去糊来自与物体或相机的运动。现有的deblur领域的深度学习方法大多都是coarse-to-fin…前言ICCV2021图像单帧运动去糊论文 论文地址【here】 代码地址【here】
Rethinking Coarse-to-Fine Approach in Single Image Deblurring
引言
图像去糊来自与物体或相机的运动。现有的deblur领域的深度学习方法大多都是coarse-to-fine的架构这样的确在性能上取得了一定的成功但是占用了内存计算量大。因此提出一种轻量级的方法很有必要目前还没有性能超过SOTA的轻量级网络 因此本文提出了一种基于coarse-to-fine的MIMO-UNet网络由encoder multi-input single encoder (MISE)decoder multi-output single decoder (MOSD)asymmetric feature fusion (AFF)的设计构成
相关工作
以下四幅图可以简单概括现有去糊方法的思路 第一、二张图利用多尺度的Input构建多尺度的学习网络第一张图在粗尺度上为细尺度提供信息第二张图在此基础上设计成了UNet网络加了跳跃连接并share大部分参数第三张图是在相同的尺度下但是进行多次去糊操作第四章图为本文设计。可见不管是哪种方案对计算量和运行时间的消耗都是比较大的
方法
pipeline 其中值得注意的设计是SCM模块 粗尺度下绿色方块feature attention moduleFAM处理AFF不对称的特征融合asymmetric feature fusion
SCM模块 首先SCM模块为简单的浅层conv堆叠为了提取深层尺度特征设计如下 feature attention moduleFAM
FAM特征注意力用到了矩阵乘法 文章中对FAM模块的解释如下 Here, we exploit a feature attention module (FAM) to actively emphasize or suppress the features from the previous scale and learn the spatial/channel importance of the features from SCM. AFF 作者介绍到大多数coarse-to-fine的特征信息流动都是从粗流到细特征流动并不灵活因此作者提出了一种非对称的特征融合方式
损失函数 由于是多尺度的学习方式因此损失函数也是在不同尺度构建每一层通过一个conv层引导输入 除了L1损失作者还引入了一个频率重建损失来引导高频分量的保护和还原
实验
对比实验 消融实验 FAM 频率损失MSFR和AFF 检测性能验证 去糊了之后有利于检测
总结
文章写的很好尤其是related work 对现有去糊任务总结的四幅图简单清晰明了让我一下子省了好多看综述的时间网络的设计也不复杂基本上看一遍论文就大概能复现个七八十我就很喜欢读这样的文章…泪目了其中的一些设计也给了我很多启发
