宝安专业做网站,网站图片如何居中,无锡锡山网站建设,品牌建设工作方案目录
一、概述
二、算法过程
三、WGAN
1、GAN的不足
2、JS散度、KL散度、Wasserstein距离
3、WGAN设计
四、Mode Collapse and Mode Dropping
1、Mode Collapse
2、Mode Dropping
3、FID
四、Conditional GAN 一、概述 GAN#xff08;Generative Adversial Networ…目录
一、概述
二、算法过程
三、WGAN
1、GAN的不足
2、JS散度、KL散度、Wasserstein距离
3、WGAN设计
四、Mode Collapse and Mode Dropping
1、Mode Collapse
2、Mode Dropping
3、FID
四、Conditional GAN 一、概述 GANGenerative Adversial Network生成式对抗网络由生成器Generator和对抗器Discriminator组成通过让生成器生成对应类别分布的网络判别器来判别是否为真或假的概率值不断迭代过程使生成器能生成更为逼真的样本数据。 生成器的任务就是通过从随机噪音中生成与真实数据尽可能相似的网络来欺骗判别器。 判别器的任务是接收生成样本和真实样本的判断生成样本和真实样本之间的区别并通过一系列神经网络输出一个概率值表示该样本为真的概率。 GAN已经在若干领域取得了成果比如语音合成图像生成等方面但仍存在一些挑战比如不稳定性和模式坍塌等问题。 二、算法过程 1首先初始化生成器和判别器参数并通过随机噪音生成一批假样本。 2将假样本放入生成器通过生成器生成图片。 3生成图片传给判别器判别器输出与真实值相比为真的概率将相关数值传输给生成器。 4生成器通过修改超参数生成新的图片传给判别器。 5不断迭代以上过程知道达到某一个阈值或者迭代次数上限。 三、WGAN
1、GAN的不足 1模式崩溃问题在生成器中可能生成特定类型的样本忽略了其他不同类型的训练样本没有达到多样性从而出现模式崩溃的问题。 2没有指标可以告知收敛的程度的问题我们只能人为的通过监控训练的图像来知道收敛的程度这大大降低的训练的效果浪费了训练的时间。例如下面这个图在迭代到两者overlap之前测量js散度都是一成不变的log2。) 2、JS散度、KL散度、Wasserstein距离
1散度表征空间各点矢量场发散的强弱程度表示场的有源性。 2KL散度相对熵、信息增益表征两个概率分布P和Q差别的非对称性度量对P和Q的距离的收敛没有判别性在没有完全重叠时KL散度都将没有价值。 KL散度是非对称的即KLA,B≠KLB,A由于对数函数是凸函数KL散度为非负数。
3JS散度度量两个概率的分布相似度解决KL散度的非对称问题JS散度是对称的。但仍然没有解决KL散度中的收敛没有判别性的问题。 其中上式 。
4Wasserstein距离 Wasserstein距离也是度量两个概率分布之间的距离改进了两个分布之间没有重叠部分或重叠部分较少难以反映两个分布远近的问题而此时KL散度没有意义JS散度反映的是常量。 反映P和Q的所有联合分布对于每一个可能的联合分布γ可以从中取得一个x,y并计算这对样本距离||x-y||在这种情况下计算距离的期望值并在所有可能的联合分布下对期望值取下界。 3、WGAN设计 1将目标函数原来的JS散度替换为Wasserstein距离 2去掉了判别器最后输出层的sigmoid激活函数。由于样本之间一般是不重叠的使用sigmoid函数会更容易训练出一个判别器而导致生成器不在移动而使用一般的线性模型会是生成器和判别器一直以很小的方向移动但总归是移动的。 3将优化器Adam换成RMSProp实验得出的经验结论罢了 4 权重修剪方面通过每次更新判别器的参数将权重限制在预先设定好的范围内避免判别器权重过大或过小可以使Wasserstein距离更加稳定可靠。
四、Mode Collapse and Mode Dropping
1、Mode Collapse 模式崩溃生成图像出现多个相同图片缺乏多样性就是出现了模式崩溃。 2、Mode Dropping 模式丢失生成模式在训练中无法有效生成所有真实数据分布中的模式或样本使得生成的图片不能捕捉真实数据的分布特征类似下面图片中在迭代之后人脸没有变化只有肤色发生了变化。 3、FID FID Frechet inception distance能够计算生成图像和真实图像的特征向量之间的度量分数越低生成图像和真实图像越相似。
四、Conditional GAN Conditional GAN就是条件GAN添加一定的文字信息或者是音讯信息与输入的图像一同进入生成器一般来说文字信息是要与相关信息的图片匹配这样可以保证生成器能够利用到文字信息。 其余的过程和GAN一样在G和D之间不断迭代。 另外在实际的应用中在D的输入中也要加入一些噪音可以保证不会出现D快速拟合训练集的效果。 参考视频2021 - 生成式对抗网络(GAN) (三) – 生成器效能评估与条件式生成_哔哩哔哩_bilibili
