互联网建站,应用商店下载安装电脑,浙江省的网站建设公司有哪些,wordpress柒比貳CVPR2024 香港理工大学OPPObytedancehttps://github.com/cswry/SeeSR?tabreadme-ov-file#-licensehttps://arxiv.org/pdf/2311.16518#page5.80
问题引入
因为有些LR退化情况比较严重#xff0c;所以超分之后的结果会出现语义的不一致的情况#xff0c;所以本文训…CVPR2024 香港理工大学OPPObytedancehttps://github.com/cswry/SeeSR?tabreadme-ov-file#-licensehttps://arxiv.org/pdf/2311.16518#page5.80
问题引入
因为有些LR退化情况比较严重所以超分之后的结果会出现语义的不一致的情况所以本文训练了degradationaware prompt extractor来提取soft and hard semantic prompts辅助超分模型在inference的过程中LR也参与了
methods
分为两个阶段第一个阶段训练DAPE来从LR中提取对应的语义特征包含soft(feature和hard(tag两个级别训练的目标是使HR和LR对应的输出尽可能相似第二个阶段是使用得到的语义信息来进行超分任务对应HR-LR数据对 x , y x,y x,y其中 y y y是对 x x x进行degradation得到的之后分别输入到DAPE模型中得到 f x r e p , f x l o g i t s , f y r e p , f y l o g i t s f_x^{rep},f_x^{logits},f_y^{rep},f_y^{logits} fxrep,fxlogits,fyrep,fylogitsDAPE模型是从tag预训练模型初始化而来最后的损失是 L D A P E L r ( f y r e f , f x r e p ) λ L l ( f y l o g i t s , f x l o g i t s ) L_{DAPE}L_r(f_y^{ref},f_x^{rep}) \lambda L_l(f_y^{logits},f_x^{logits}) LDAPELr(fyref,fxrep)λLl(fylogits,fxlogits) L r L_r Lr是MSE损失 L l L_l Ll是cross entropy损失两部分损失中logits部分损失受到模型thresh值设定的影响所以使用representation部分进行补充超分网络在原始SD模型的基础上新增了representation和image作为条件分别对应representation cross attention模块和controlnet模块其中representation cross attention添加到text cross attn模块后面LR Embedding in Inference推理的时候往常是随机初始化的噪声但是本文是对LR添加噪声来进行噪声初始化
实验
