网站建设亿玛酷适合5,商贸公司网站建设,wordpress 电话,设计官网需要的流程这是一篇港科大学生在google research 实习期间发在ECCV2024的语义引导生成式修复的文章#xff0c;港科大陈启峰也挂了名字。从首页图看效果确实很惊艳#xff0c;尤其是第三行能用文本调控修复结果牌上的字。不过看起来更倾向于生成#xff0c;对原图内容并不是很复原港科大陈启峰也挂了名字。从首页图看效果确实很惊艳尤其是第三行能用文本调控修复结果牌上的字。不过看起来更倾向于生成对原图内容并不是很复原不过在生成式方法中已经做得很好了适合超级噪声图这种原图信息丢失十分严重的场景 整体方法流程如下图所示用的是stable diffusion的框架甚至模型参数都是pretrain好后fix住的在此之上用controlnet的风格添加了另外一部分网络来接收restoration的描述和degraded image网络中的feature来调制这个train好的stable diffusion的unet中的feature然后是可train的 现在diffusion有了两个目标一个是原有的stable diffusion在denoise的过程中还是文本梯度另一个是最终生成的图片要和输入的LQ图片内容一致而这部分梯度分开由需要train的那个网络承担。 可以看到这个方法的PSNR确实不高但是视觉效果真的很好泛化性感觉也不错 如果要一言以蔽之这个工作可以说是controlnet的restoration 特供版不过确实做得不错可惜没看到有开源。
