番禺网站开发多少钱,wordpress 关键词链接,wordpress扁平模板,通州北苑网站建设Unsupervised Cycle-Consistent Generative Adversarial Networks for Pan Sharpening
#xff08;基于无监督循环一致生成式对抗网络的全色锐化#xff09;
基于深度学习的全色锐化近年来受到了广泛的关注。现有方法大多属于监督学习框架#xff0c;即对多光谱#xff0…Unsupervised Cycle-Consistent Generative Adversarial Networks for Pan Sharpening
基于无监督循环一致生成式对抗网络的全色锐化
基于深度学习的全色锐化近年来受到了广泛的关注。现有方法大多属于监督学习框架即对多光谱MS和全色PAN图像进行下采样并将原始MS图像作为地面真值基于Wald协议形成训练样本。虽然可以取得令人印象深刻的性能但由于尺度差距它们在推广到原始全尺度图像时存在困难这使得它们缺乏实用性。在这篇文章中我们提出了一个无监督的生成式对抗框架它可以从没有地面事实的全尺寸图像中学习来缓解这个问题。首先利用双流生成器提取PAN和MS图像的模态特征在特征域进行融合然后重建全色锐化图像。此外我们还引入了一种新的基于循环一致性和对抗性的混合丢失机制来提高性能。
介绍
多分辨率图像在遥感系统中相当常见因为它们向用户提供了一对模态多光谱MS图像和全色PAN图像。这两种模态在光谱域或空间域中具有最高分辨率。但由于物理条件的限制这些目标不可能同时实现。结果MS图像具有较低的空间分辨率PAN图像具有较差的光谱信息。为了满足在许多实际应用中对HR MS图像的需求全色锐化任务其目的是联合MS和PAN图像的优点生成理想的HR MS图像受到了社会各界的极大关注并进入了蓬勃发展时期。图1显示了我们的全色锐化结果的一些例子。 近年来基于深度学习的方法在大量计算机视觉任务中取得了令人印象深刻的成就促使泛锐化社区充分利用深度神经网络架构的强大功能。第一个尝试是全色神经网络PNN它借鉴了超分辨率卷积神经网络SRCNN的思想通过嵌入遥感领域的特定知识对其进行了改进。后续的工作也在深度学习的基础上取得了显著的进展。例如受残差学习的启发PanNet提出了比PNN更深的网络。它采用了ResNet的跳跃连接思想来设计更深层次的网络并提出充分利用高频信息来产生清晰的空间细节。深度残差全色卷积神经网络(DRPNN)也本着类似的精神设计了一个更深的网络来增强模型容量。除了深化神经网络多尺度和多深度卷积神经网络MSDCNN探索了不同大小的卷积神经网络CNN滤波器并提出了一种多尺度架构。TFNet考虑到PAN和MS图像包含不同的信息提出使用双流网络Two Stream NetworksTFNs提取它们的特征并在特征域进行融合。泛锐化生成对抗网络PSGAN将泛锐化看作是一个图像生成问题利用生成对抗学习的优势提高了TFNet的融合质量尤其是视觉质量。由于强大的深度学习技术和海量的遥感数据全色锐化技术发展迅速。 然而现有的基于深度学习的全色锐化方法在真实的应用中仍然面临着巨大的挑战。一个限制是它们需要理想的HR MS图像来优化网络而理想的HR MS图像并不存在。不是最好的但是可行的他们遵循Wald的协议来训练他们的模型即PAN和MS图像都被下采样到较低尺度使得原始MS图像用作地面实况图像。因此在实际应用中它们应该推广到全尺度图像。这些方法以最小的努力在缩减尺度的图像上提供满意的结果然而在原始全尺度图像上的面部性能降级这使得监督学习方法不切实际。具体而言缩小尺度的遥感图像与全尺度遥感图像之间存在差距。与自然图像不同遥感图像通常包含更深的位深度具有非常不同的特征。由于降采样过程可能会改变遥感图像的原始特征因此我们的目的是充分利用遥感图像的原始信息而不进行任何预处理。为了解决这个问题我们提出了一种用于全色锐化的无监督生成对抗网络GAN称为无监督循环一致生成对抗网络UCGAN。UCGAN专注于无监督学习并在原始全尺寸图像上进行训练以执行全色锐化。为了更好地从输入中提取特征我们借鉴了现有工作的优越性。首先利用双流发生器提取PAN和MS图像的模态特征并在特征域进行融合。为了更好地保留图像的空间信息我们从图像中提取高频信息然后将其送入双流发生器。最后我们提出一种新的混合损失以提高全色锐化图像的质量。损失函数基于聚变输出与PAN和MS输入之间的循环一致性。应当注意我们的网络是在没有地面实况图像的情况下训练的。
贡献
1我们设计了一个用于全色锐化的UCGAN称为UCGAN它可以在全尺度图像上训练以利用原始全色和MS图像丰富的空间和光谱信息。 2在无监督学习框架下提出了一种基于循环一致性的混合损失优化算法。训练期间不需要真实图像。 3在Gaofen-2GF-2和WorldView-3数据集上的实验结果表明该方法在原始全尺度图像上的性能有了很大提高获得了清晰的空间和光谱细节。
相关工作
Deep Learning-Based Pan-Sharpening
受深度学习技术在各种计算机视觉任务特别是单幅图像超分辨率方面取得的成就的启发越来越多的研究者尝试使用深度学习模型来解决全色锐化问题。Masi等人开创了这一领域的三层CNN其主要架构借鉴了超分辨率模型SRCNN。Zhong等人遵循PNN的精神采用两阶段策略对其进行改进他们首先用CNN方法超分辨低分辨率LRMS图像然后用Gram-SchmidtGS变换融合空间增强的MS和PAN以获得全色锐化图像。最近有人建议使用更深层的神经网络来提高视觉任务的性能。参考ResNetYang等人借助残差学习设计了一个更深层次的网络。Rao等人和Wei等人也采用了类似的思想它们实现了图像空间和光谱信息的良好保留。Deng等人从不同的角度探索了深度学习技术与传统融合方案的结合如组件替换和多分辨率分析并提出了一种基于细节注入的网络。为了更好地保存信息Xu等人使用两个编码器-解码器网络来学习PAN和MS图像的增强表示。Xie等人设计了3-D CNN架构并通过在高频域中训练来降低对不同传感器的灵敏度。Wang等人设计了一个双路径融合网络DPFN它提取全局和局部特征。为了改进特征表示Jiang等人提出了一种新的分层稠密连接网络。Wang等人使用具有双重注意力的CNN进行特征提取然后使用基于卷积长短时记忆LSTM的网络合并特征。
Generative Adversarial Networks
它们是Goodfellow等人引入的生成模型。GAN已被应用于许多图像生成相关任务并取得了优异的性能。GAN由两个组件组成生成器G和鉴别器D。G侧重于生成接近真实的数据的图像而D旨在将其与真实数据区分开。其主要思想是对G和D进行逆向训练使G能够生成越来越逼真的图像同时D也变得更强。在Goodfellow等人的工作之后已经开发了许多变体以通过解决诸如模型崩溃之类的问题来改进GAN的性能或完善它们。如Radford等人提出了用CNN代替多层感知器MLP的深度卷积生成对抗网络DCGAN增强了网络的特征表示能力。Mao等人对原有的损失函数进行了修正引入了一种基于最小二乘的新的损失函数这有利于解决梯度消失问题。Arjovsky等人基于Wasserstein距离和权重裁剪重新定义了损失函数这有助于稳定GAN的训练过程。Gulrajani等人通过惩罚鉴别器相对于其输入的梯度的范数进一步克服了不稳定训练问题。在全色锐化任务中研究人员还采用了遗传网络来提高融合性能。Liu等人是将GAN引入全色锐化任务的先驱者之一。他们的模型可以产生高质量的全色锐化图像。Ma等人将全色锐化处理为多任务问题并使用空间和光谱保留的双鉴别器训练无监督模型以生成空间和光谱失真较少的全色锐化图像。
Unsupervised Pan-Sharpening Methods
近年来基于无监督学习的全色锐化方法因其可以在没有真实数据的情况下进行训练具有很高的实际应用价值而备受关注。Huang等人提出了一种无监督深度学习全色锐化方法该方法采用了改进的稀疏去噪自动编码器MSDA算法。Luo等人开发了一种新颖的基于无监督CNN的全色锐化方法不使用任何手工标签。Qu等人提出了一种基于自注意机制的无监督全色锐化方法来估计空间变化细节提取和注入函数。Zhou等人将感知损失引入全色锐化并提出了一种结合监督和非监督技术的新型训练范式。他们首先以有监督的方式预训练模型然后以无监督的方式微调模型。Ma等人提出了一种基于GAN的新型无监督全色锐化框架以保留来自输入的丰富光谱和空间信息。
方法
Overview 图2显示了我们的全色锐化框架的概览。首先由于输入对的形状不同我们在它们之间进行对齐。PAN图像沿着通道维度复制四次并且使用双三次插值将LR MS图像上采样到与PAN图像相同的空间分辨率。结果两种类型的图像共享相同的形状。为了在后续阶段使用统一的神经网络进行特征提取和融合需要进行对齐。然后利用高通滤波器HPF提取图像的高频信息以更好地保留图像的空间信息。与PanNet类似我们从原始图像中减去平均滤波器获取的低频内容以获得该高频信息。处理后的PAN和MS图像然后通过嵌入网络称为EmbNet映射到特征域EmbNet输出更高维的相应嵌入向量。值得注意的是在EmbNet之前没有可训练参数所有操作都是可区分的。然后融合网络FusionNet将两个嵌入向量的连接作为输入并将它们融合成一个融合嵌入向量。最后称为RstNet的恢复网络将嵌入向量传递回图像域以产生全色锐化图像。此外为了使网络稳定且易于训练存在从内插LR MS到最终输出的全局跳跃连接。此外为了使网络稳定且易于训练存在从内插LR MS到最终输出的全局跳跃连接。在PanNet中已经讨论过我们保持这种方式。作为一种无监督方法在我们的框架中没有额外的监督。为了提高融合结果的质量我们在融合框架中引入了循环一致性和对抗性学习并添加了一些限制条件以强制全色锐化结果保持空间和光谱信息。因此我们设计了一个新的混合损失函数它主要由四部分组成包括循环损失、对抗损失、重构损失和非参考损失。
Architecture
图3显示了我们的神经网络的详细架构它可以分为两部分生成器和鉴别器。
1) Generator 发生器中的所有卷积层的滤波器大小均为3 × 3步长为1并提取32通道特征图但最终融合结果的最后一个卷积层除外其输出为4通道。生成器可分为三部分嵌入网络EmbNet、融合网络FunsionNet和恢复网络RstNet。EmbNet是一个用于特征提取的双流体系结构。它以一对PAN和LRMS图像作为输入输出它们的特征嵌入。嵌入网络和恢复网络共享类似的架构并且它们都由一个块网络残余信道注意RCA块或残余块和一个附加卷积层组成。残差块广泛用于训练更深层次的神经网络它由两个3 × 3卷积层组成具有跳跃连接。RCA块将信道注意机制引入到残差块并且变得更加有效。融合网络由三个分块网络组成并增加一个卷积层以增强融合能力。我们在发生器中使用整流线性单元ReLU激活。 2) Discriminator: 我们的鉴别器遵循pix2pix 的架构它由五个卷积层组成。前三层的步幅设置为2后两层设置为1。它们都配备了4×4滤波器并且每层中提取的特征图的数量被设置为64、128、256、512和1。LeakyReLU激活应用于鉴别器。我们在生成器和鉴别器中都使用实例归一化以获得稳定的训练和更好的性能。
Loss Function
为了在没有地面真实值的全尺度图像上训练我们的生成器我们引入了一种新的混合损失函数。生成器的完整目标函数可以用公式表示如下 损失函数由四项组成即循环损失、对抗损失、重构损失和非参考损失。λ1、λ2、λ3和λ4是平衡这些损失项贡献的权重。接下来我们将按顺序介绍它们。 1) Cycle Loss 循环一致性的概念最早由CycleGAN引入其目的是在没有成对示例的情况下将图像从源域转换到目标域。为了防止生成器模式崩溃提高不成对图像的性能它们同时学习从目标域到源域的逆映射并利用周期损失迫使发生器成为彼此的逆。图4左图显示了CycleGAN中的周期一致性。Gy将图像从域X映射到域Y而Gx进行逆映射。循环损失要求对于来自域X的每个图像x图像平移循环应当能够使x回到原始图像即x应与Gx(Gy(x))相同。而且在从域Y到域X的方向上可以类似地定义。 这里在全色锐化中我们借助HR PAN图像将MS图像从LR域转换到HR域。我们的生成器起到将MS图像从LR域映射到HR域的作用。然而与提供来自域X和域Y的图像两者的CycleGAN不同在真实的世界中不存在理想的HR MS图像。为了解决嵌入到HR域中的MS特征我们将LR MS图像转换为HR MS图像两次并检查它们之间的一致性。如图4的右侧所示图像被平移到HR域降级回到LR域并且再次平移到HR域。在这里我们选择双三次插值来降低图像的空间退化以减轻训练过程。与CycleGAN相比我们在图像转换周期上又前进了一步。与CycleGAN相比我们在图像转换周期上又前进了一步。这样如果融合结果丢失了来自MS图像的信息则将在第二平移中引起更大的差异。我们新设计的循环损失Lcyc可表示为 其中M和P分别表示输入LR MS和PAN图像G是双流生成器↓表示下采样算子其将HR图像降级回LR图像以及||·||1为L1范式。 2) Adversarial Loss: PSGAN是用GAN产生全色锐化图像的第一次尝试之一。除了生成器之外同时训练条件鉴别器网络以从生成的全色锐化图像中区分参考MS图像。图5中的左图描述了PSGAN中的对抗性损失。然而当处理具有原始全尺度分辨率的真实世界图像时利用合成地面实况对缩减图像进行训练可能导致间隙。 为了克服无监督设置中参考图像的缺失类似于我们的周期损失我们的对抗损失也基于图像变换周期。在变换周期中HR MS图像生成两次第一次用作“真实地面数据”。全色锐化图像首先由G使用真实的LR MS和PAN输入生成然后使用双三次插值退化以用作第二代的伪LR MS输入。G以伪LR MS图像作为输入输出伪全色锐化结果。因此鉴别器的目标是在输入全色图像的条件下区分真实的LRMS和全色锐化图像而G则试图最小化真假组之间的差异这也与G在cycle损失方面的目标一致。图5右边的图像详细描绘了我们的对抗性损失。为了稳定训练和更好的性能我们基于最小二乘损失构建对抗损失。G中的对抗性损失项可表示为 其中M和P分别表示输入LR MS和PAN图像G是我们的双流生成器D代表鉴别器↓表示下采样算子它将全色锐化结果降级回LR分辨率。 类似地我们可以用公式表示D的对抗性损失 其中a和b分别是接近1和0的软标签以避免鉴别器D中的过拟合。 3) Reconstruction Loss: 我们的周期损失和对抗性损失主要集中在目标域的差异上即所需的HR MS域。此外为了更好地保留空间和光谱我们还在LR MS和PAN域中添加了约束。特别地输入LR MS和PAN图像由全色锐化输出重建然后模型评估与原始输入的一致性。因此我们的重建损失包括两部分空间部分和频谱部分 对于空间保持我们关注PAN图像中的高通信息因为高通部分通常包含更多的空间细节和较少的光谱信息 M和P分别表示输入的LR、MS和PAN图像G是我们的双流生成器gethp(·)从图像中提取高通信息MP(·)是最大合并操作用于将全色锐化图像转换为单通道图像同时保持细节。 在光谱保留方面由于低通部分通常包含较多的光谱信息和较少的空间细节因此我们将重点放在MS图像的低通信息上 其中getlp(·)从图像中提取低通信息↓是用于将全色锐化图像转换为与输入LR MS图像相同分辨率的下采样操作。由于PanNet在图像融合领域取得了很大的进展我们采用了与PanNet相同的方法进行高、低通提取。 4) Nonreference Loss: 根据全色锐化生成式多对手网络PGMAN我们引入Q-损失来提高模型的性能。其定义如下 其中QNR是非参考图像质量评估度量是Dλ和Ds的组合 其中F是全色锐化结果M代表LR MS输入K是波段数Fi和Mi代表它们中的第i个波段。Q为图像质量指数QI 在这里我们构造QNR度量作为非参考损失以最小化全色锐化图像中的空间和频谱失真从而保持不同模态之间的一致性。
