群辉服务器做网站,举报网站建设,网站建设培训机构哪里好,时尚杂志网站设计分析ZeRGAN: Zero-Reference GAN for Fusion of Multispectral and Panchromatic Images
#xff08;用于多光谱和全色图像融合的零参考GAN#xff09;
本文提出了一种融合低空间分辨率多光谱(LR MS)和高空间分辨率全色(PAN)图像的新的全色锐化方法–零参考生成对抗网络(ZeRGAN…ZeRGAN: Zero-Reference GAN for Fusion of Multispectral and Panchromatic Images
用于多光谱和全色图像融合的零参考GAN
本文提出了一种融合低空间分辨率多光谱(LR MS)和高空间分辨率全色(PAN)图像的新的全色锐化方法–零参考生成对抗网络(ZeRGAN)。在该方法中零参考表示它不需要使用成对的缩小尺度图像或未成对的全尺度图像进行训练。为了得到准确的融合结果我们在一组多尺度生成器和它们对应的鉴别器之间建立了一个对抗性博弈。通过多尺度生成器融合的高空间分辨率MSHRMS图像逐步从LR MS和PAN图像产生而鉴别器的目的是区分HRMS图像和PAN图像之间的空间信息的差异。换句话说在优化ZeRGAN之后从LR MS和PAN图像生成HR MS图像。此外我们构建了一个非参考损失函数包括对抗性损失空间和光谱重建损失空间增强损失和平均恒定性损失。通过最小化总损失可以有效地增强HRMS图像中的空间细节。在不同卫星采集的数据集上进行了大量的实验。
INTRODUCTION
近年来不同的地球观测卫星如QuickBirdGeoEye-1和WorldView-2收集了大量的遥感图像。这些卫星可以同时获取低空间分辨率多光谱图像和全色图像。目前所捕获的图像已广泛且成功地用于目标发现、土地覆盖分析和环境监测。然而由于空间和光谱分辨率之间的固有权衡难以获得上述卫星的高空间和光谱分辨率MSHR MS图像。一方面LR MS图像包含丰富的光谱信息但空间分辨率低于PAN图像。另一方面PAN图像仅由一个高空间分辨率带组成。因此通过将LR MS图像中的光谱信息与PAN图像中的空间细节整合在一起应用图像融合也称为泛锐化来产生融合的HR MS图像。 在过去的二十年中已经提出并开发了各种算法来科普全色锐化任务。它们可以分为四种类型1组分替代CS方法; 2多分辨率分析MRA方法; 3基于退化模型DM的方法;以及4基于深度神经网络DNN的方法。CS方法因其原理简单、实现速度快而得到了广泛的应用。他们将插值的LR MS图像投影到一个新的域中以估计合适的空间分量。然后用PAN图像代替空间分量并通过相应的逆投影生成融合的HR MS图像。例如在这种情况下使用的典型变换是强度-色调-饱和度IHS变换、主成分分析PCA和Gram-SchmidtGS变换。此外提出了频带相关空间细节BDSD算法以更准确地估计增益参数。然而由于在图像之间考虑了全局变换因此在融合结果中产生了显著的光谱失真。 基于MRA的方法假设要添加到LR MS图像中的空间信息是从PAN图像中获取的这被称为结构注入空间分辨率改善ARSIS。在这些方法中空间细节的提取和注入增益的计算对融合结果有重要影响。通过许多MRA工具提取空间细节例如contourlet和广义拉普拉斯金字塔。Otazu等人提出了一种加性小波亮度比例AWLP方法来估计PAN图像中的高频分量。由于只有PAN图像的空间细节被注入到LR MS图像中因此基于MRA的融合结果在光谱保真度方面具有良好的性能。 基于DM的方法假设所观察到的LR MS和PAN图像分别是空间域和谱域中的HR MS图像的退化版本。例如Li和Yang通过将空间和光谱DM视为测量矩阵将图像融合任务重新表述为压缩感知问题。此外融合模型通过其他有效先验进行正则化例如稀疏性非负性和低秩先验。虽然这些方法在空间和光谱信息保持方面表现良好但它们的计算复杂度远高于前两类方法。 如今DNN已经在各个领域取得了巨大的成功还被用于全息锐化。例如Huang等人采用堆叠式改进稀疏去噪自动编码器进行全息锐化。Masi等人受文献[24]中超分辨率模型的启发提出了一种基于卷积神经网络(CNN)的全息锐化方法–PNN。在[25]中PANet是通过将特定问题的先验与残差网络(ResNet)相结合而建立的。该算法能较好地保持融合图像的光谱和空间保持性。随后Fu等人引入了分组多尺度扩张网络以提高空间信息的多尺度表示能力。Zhang等人提出了一种双向金字塔网络将PAN图像中的空间细节逐层注入LR MS图像中。在[29]中在分组贴片上构建了堆叠稀疏自动编码器。根据这些补丁的几何结构他们被分类然后送入自动编码器。此外生成对抗网络GAN也被用于融合LR MS和PAN图像。例如Liu等人首先利用GAN生成融合图像然后在[32]中扩展。然后Ma等人采用两个鉴别器来保持融合图像中的空间和光谱信息这可以避免在训练期间需要HR MS图像。此外在MDSSC-GAN中使用了生物多样性框架。在这种方法中第一个滤波器由图像的亮度和近红外波段馈送而第二个滤波器的输入是光谱分量的级联。在[35]中提出了一种基于无监督GAN的方法包括监督预训练和无监督微调。然而基于DNN的泛锐化方法可能倾向于过拟合成对的训练数据。因此当分析由其他卫星获得的新数据时泛化能力降低。此外需要考虑与训练数据有关的两个问题。一方面大多数基于DNN的泛锐化方法通常使用成对图像进行训练如图1a所示。但是HR MS图像在真实的场景中不可用。因此成对图像由空间退化后的LR MS和PAN图像的缩小比例版本组成。因此原始LR MS图像直接被视为参考数据。然而在全尺寸图像的空间细节不能有效地从缩小规模的图像对学习。另一方面一些基于GAN的泛锐化方法被提出用于全尺度图像的显式训练其中包含原始尺度的LR MS和PAN图像。它们也被称为未配对图像如图1b所示。然而这些网络需要重复训练以获得理想的结果因为不同的卫星图像之间的不同分布。此外它们需要大量的训练数据。 基于这两个方面本文提出了一种基于GAN的零参考GANZeRGAN方法用于由PAN图像锐化LR MS图像。如图1c所示ZeRGAN不需要任何成对的缩小比例图像或未成对的全比例图像进行训练。因此在对该方法的损失函数进行优化后可以直接由多尺度发生器得到融合图像。特别是我们采用了一组级联的多尺度生成器逐步增加MS图像中的空间信息同时保留光谱信息。在每个尺度上残差学习被嵌入到生成器中以改善中间HR MS图像中的空间细节。同时在相同的尺度下相应的缩放被用来进一步区分中间和真实的PAN图像中的空间信息。通过光谱响应滤波SSF从中间HR MS图像生成中间PAN图像。此外为了确保零参考训练的融合性能我们设计了一个无监督损失函数其中包含对抗损失空间和光谱重建损失空间增强损失和平均恒定性损失用于在每个尺度上优化生成器和滤波器。实验结果表明即使没有任何训练集ZeRGAN仍然具有竞争力的性能相比依赖于配对或不配对的图像进行训练的方法。
贡献
1ZeRGAN不需要任何训练数据。通过优化GAN并结合空间和光谱DM实现了LR MS和PAN图像的融合。一个多尺度生成器架构被用来增强空间细节的LR MS图像协作。 2一个任务驱动的非参考损失函数制定了一个有效的措施融合图像中的空间和光谱信息这减轻了大量的训练数据的需要。 3对于光谱保存我们引入了一个新的损失项平均恒定性损失它假设LR MS图像中的频带的平均值应相应地等于HR MS图像中的频带。
GENERATIVE ADVERSARIAL NETWORKS
自从GAN由Goodfellow等人提出以来由于其强大的生成能力在图像处理和图像合成等各个领域的性能都有了显着的提高。GAN主要通过最小-最大对抗游戏学习生成器G和BND。生成器G可以学习数据分布并创建真实的样本来欺骗CMDD。相反地CNOD的目的是分类样本是由生成器G合成的还是来自真实的数据。然后上述两个玩家的游戏可以在数学上表示为 然而原始GAN遭受训练不稳定性。然后提出了深度卷积GANDCGAN来稳定GAN的训练其中生成器和卷积神经网络都由CNN组成。Mao等人在最小二乘损失的约束下惩罚假样本的分布更接近真实的数据的分布。Wasserstein GANWGAN采用具有更好理论特性的Wasserstein距离来衡量真实的和虚假数据之间的差异。然而WGAN的收敛是缓慢的有时不稳定。因此Gulrajani等人提出了WGAN-GP损失并引入梯度惩罚来直接保证Lipschitz条件其目标函数为
PROPOSED METHOD ZeRGAN的框架如图2所示其中生成器和鉴别器分别主要负责注入和区分HR MS图像中的真实空间信息。更具体地说一系列的生成器被设计为增强在不同尺度的中间HR MS图像的空间细节同时保留光谱信息。此外在每个尺度上的缩放还负责中间PAN图像和真实的PAN图像中的空间信息的一致性。通过SSF从中间HR MS图像产生中间PAN图像。此外通过以不同比率下采样原始PAN图像来合成对应于不同尺度的真实的PAN图像。此外一个无监督的损失来自空间光谱模型和先验知识使零参考训练成为可能。虽然已经提出了许多基于GAN的泛锐化方法例如PSGAN和MDSSC-GAN但这些方法需要大量的成对图像进行训练。所提出的ZeRGAN不需要任何配对或未配对的数据这消除了训练数据的问题。此外现有的基于GAN的方法通常使用单个生成器来合成融合结果。ZeRGAN提出了由多个生成器组成的多尺度框架从粗到细生成融合图像以提高融合效果。
Multiscale Generator
多尺度发生器由L个级联的生成器组成其中生成器Gl在尺度l处的输出是Hl ∈ R r l M × r l N × B R^{r_l M×r_l N×B} RrlM×rlN×B生成器Gl1在尺度l 1处的输入。M × N × B是原始LR MS图像H0的大小。rl是H0和H1之间的空间分辨率比。因此我们可以将LR MS图像在不同尺度下的连续增强写为 其中Hl-1和Pl都被馈送到发生器Gl。通过下采样从原始PAN图像生成Pl。注意Pl的大小与Hl的大小一致。然后期望的HR MS图像是HL ∈ R r l M × r l N × B R^{r_l M×r_l N×B} RrlM×rlN×B即GL在尺度L下的输出。通常在全色锐化任务中rL等于4。 不同规模的生成器的架构如图3所示。对于生成器的输入我们首先通过双三次算子将MS图像Hl-1直接上采样到真实的PAN图像P1的大小。然后将上采样的MS图像与PAN图像连接在一起作为生成器的输入。生成器由五个卷积层组成。过滤器大小为3 × 3步长为1。对于前四个卷积层滤波器的数量设置为n。在最后一个卷积层中使用了四个滤波器。Leaky ReLU激活函数应用于前四个卷积层。批量归一化BN也被级联以防止梯度消失。为了充分利用以前的功能在生成器中引入了密集连接。通过密集连接可以加强不同层中的特征传播从而有效地将空间细节注入HRMS图像。
Spatial Discriminator
在ZeRGAN的架构中鉴别器{D1D2.DL }被设计为由于SSF的引入而间接地区分HR MS图像中的空间信息。SSF被建模为 其中 H b H^b Hbl是Hl的第b个频带并且ωb是固定的光谱响应权重。经由SSF从MS图像Hl-1产生中间PAN图像~P 1。 为了有效地捕获真实的和中间PAN图像的分布之间的差异构造完全卷积网络其结构在图4中示出。卷积Dl由五个卷积层组成其中前四层中的每一层都包含n个大小为3 × 3的内核。最后一个卷积层只包含一个大小为3 × 3的滤波器。此外前四个卷积层与BN和Leaky ReLU连接。完全卷积设置用于有效地对图像中的空间细节进行建模。在所提出的方法中所有不同尺度的所有鉴别器共享相同的架构。
Nonreference Loss Function
在ZeRGAN中多尺度生成器和鉴别器是通过无监督训练过程依次学习的。在所提出的方法中生成的HR MS图像不仅要欺骗鉴别器而且要满足与源图像的退化关系和其他约束。因此我们在生成器上施加额外的损失以实现有效的学习。考虑以下损失来训练所提出的模型。 Spatial and Spectral Reconstruction Losses: 通常LR MS和PAN图像分别被视为HR MS图像的空间和光谱退化结果。具体地尺度l的空间和光谱观测模型被定义为 滤波器是钟形的可以近似为高斯滤波器[46]。n1和n2是加性噪声。因此空间和光谱退化损失可以公式化为 其中α和β是正则化参数。7中的两个约束分别是空间保真度项和光谱保真度项。然后 L l L^{l} Llsr可以保留空间和光谱信息并在这两项之间进行折衷由α和β值进行调整。 1) Spatial Enhancement Loss: 对于不同波段的MS图像由于其光谱响应边缘或纹理有明显的差异。使用相同的空间增强策略将导致不同频带上的伪影。在所提出的方法中假设Hl中的高频信息遵循与6相同的谱退化关系其类似地表示为 其中▽梯度算子用于高频信息提取。然后可以通过以下方式实现空间增强 2) Average Constancy Loss: 受[47]中的颜色恒定性损失的启发我们提出了平均恒定性损失来保留HR MS图像中的光谱信息。假设LR MS图像中的谱带的平均值应相应地等于HR MS图像中的谱带的平均值。通过这一假设LR MS图像的波段之间的关系可以继承到HR MS图像的波段之间的关系。然后平均恒定性损失被建模为 3) Adversarial Loss: 在所提出的方法中利用从Hl生成的中间PAN图像~ Pl来欺骗鉴别器Dl。为了保证训练的稳定性该方法考虑了WGAN-GP损失 将上述所有损失合并在一起第l级的总损失总结为
