做网站需要一些什么东西,重庆有什么好玩的,网站空间 推荐,大厂做网站Towards Real World Blind Face Restoration with Generative Facial Prior
这个projec相对codeformer已经是老一些的了#xff0c;CodeFormer paper说自己的效果比这个更好。
有看了这个视频#xff0c;它借用了R-ESRGAN 4x 和 GFPGAN 50%#xff0c;既保留了一些人物特征…Towards Real World Blind Face Restoration with Generative Facial Prior
这个projec相对codeformer已经是老一些的了CodeFormer paper说自己的效果比这个更好。
有看了这个视频它借用了R-ESRGAN 4x 和 GFPGAN 50%既保留了一些人物特征又有了更好的效果。视频例子
传统方式
Blind Face Restoration:
基于脸部固定位置的信息没有充分挖掘信息缺少细节但是对于一个粗略的脸部信息是OK的heavily 基于reference images: 对于政府需要的强制性信息来说这个应该不难获取比如犯过刑事案件同志的档案但是对于其它情况这个有点不切实际。
例子包含适用普通GAN的
Modules
Degradation Removal(Unet) 将不好的有影响画质的内容去除 不同尺寸的feature 会被输出
Pre-trained Face GAN (StyleGAN2) 补充好的丰富的面部信息 借用之前的spatial feature得到画质更好的features
Losses
Reconstruction lossAdversarial lossFacial component Loss with local discriminatorsIdentity Preserving loss
Codeformer 亮点
直接用高清后的图片做训练Codebook 替代了之前包含不确定性的连续的且无线空间现在是有限的离散空间。离散编码参考了VQ-VAE 包含向量量化。VAE 通常套路中间的latent是连续的但是现在是codebook。 好的接下来他们要开始提升了加入了transformer这个也是应该看透了transformer的有点有点类似于特征整理器。经过这里后的信息会分门别类的输出出来这样能够有得到更有用的特征给Decoder生成更棒的图片。
整个过程个人感觉也是借鉴了GFPGAN Degradation Removal(Unet)Pre-trained Face GAN (StyleGAN2) 分别替换成了 a 和 (b) 相当于我一开始不优化图片了直接学一个Remover后的优化图片。然后做真正的图的输出这里使用了transformer出来的内容代替了GFPGAN里从前一轮unet获得的不同尺寸的features。从稍微混的feature 到一个特征区分更明显的feature。自己理解是这样的可能也只是因为先看的GFPGAN paper会觉得类似
