西安建设科技专修学院网站,佛山网站建设的首选公司,wordpress 知更鸟,如果网站不备案为了解决在图像合成时候小物体容易消失#xff0c;大物体经常作为块的拼接来生成的。本文提出DP-GAN在所有尺度下共同学习空间自适应归一化模块的条件。这样尺度信息就会被双向使用#xff0c;他统一了不同尺度的监督。(重点看图和代码) SPADE模块解释 GAN在生成包含许多不同…为了解决在图像合成时候小物体容易消失大物体经常作为块的拼接来生成的。本文提出DP-GAN在所有尺度下共同学习空间自适应归一化模块的条件。这样尺度信息就会被双向使用他统一了不同尺度的监督。(重点看图和代码) SPADE模块解释 GAN在生成包含许多不同物体的复杂场景时非常具有挑战由于归一化的存在分割图会退化。SPADE(《Semantic Image Synthesis with Spatially-Adaptive Normalization》)通过正向传递语义信息来解决上述问题。大多数的网络将标签作为输入然后做一个全局的判别。因为一个全局的辨别器不会强迫生成器去学习和输入的语义标签图进行准确的对齐。 本文旨在从语义图不同的尺度生成类似真实的物体。这需要解决生成器和辨别器不同的图片尺寸问题。我们通过一个金字塔来使用每个尺度。 为了解决细小物体退化问题我们在不同尺度引入了多尺度监督的不同类型。第一个是多尺度特征匹配损失他鼓励生成器在所有尺度生成和语义图对齐的图片第二个是在每一个块使用多尺度对抗监督。他鼓励在辨别器时重要的尺度信息可以保留。 总结1提出一个双金字塔生成器用于语义图像合成。2在像素块特征三个层面促使生成器生成和语义图对齐的真实的物体。 方法 双金字塔生成器一个金字塔用于图像合成另一个用于空间适应学习。生成器输入是标签图和3D噪声的逐通道拼接。不同的噪声可以产生不同风格的图片。 SPADE实现过程 在本文公式 在原始SPADE中γ和β是特征图经过卷积学习到的。在本文类似但是做了修改修改的原因是特征图经过下采样细小的物体已经消失就会在不同尺度带来大量的冗余信息。作者将最后一层的输出上采样到之前层的大小然后和原始的每一层输出相加再进过卷积。通过在不同尺度进行SPADE的学习这样生成的结果就会更加的真实。 尺度增强辨别器 使用一个包含resnet的编码解码结构模型预测N1个类别N是语义类别数1是假的类别。在训练时候对于真实图片每一个像素都是由输入标签图定义对于生成图片每一个像素都是由假类别定义。这样一个N1类别交叉熵可以定义为 逐像素的损失不够我们还添加了另外两个损失。第一个是基于块的多尺度对抗损失应用于低分辨率的特征图 第二个是多尺度特征匹配损失在真实图和预测图之间使用L2损失用于训练生成器。 训练 对于生成器使用损失 正则化 总损失 **实验**使用mIoU和FID进行评估。
