深圳网站品牌建设,动态表情包在线制作,百度推广案例及效果,wordpress 全版本注入#xff08;1Prompt1Story#xff09;是一种无训练的文本到图像生成方法#xff0c;通过整合多个提示为一个长句子#xff0c;并结合奇异值重加权#xff08;SVR#xff09;和身份保持交叉注意力#xff08;IPCA#xff09;技术#xff0c;解决了生成图像中身份不一致…1Prompt1Story是一种无训练的文本到图像生成方法通过整合多个提示为一个长句子并结合奇异值重加权SVR和身份保持交叉注意力IPCA技术解决了生成图像中身份不一致的问题同时保持了文本描述的精准对齐。 相关链接 论文https://arxiv.org/abs/2501.13554 代码https://github.com/byliutao/1Prompt1Story 主页https://byliutao.github.io/1Prompt1Story.github.io/
论文介绍
论文出了一种无需训练的方法1Prompt1Story通过单个连接提示实现一致的文本到图像生成。我们的方法可以应用于所有基于文本嵌入的文本到图像模型。此外它还支持多字符生成、ControlNet 引导生成和个性化生成逼真的图像。 方法 (a)1Prompt1Story 的整体流程。我们将身份提示和框架提示合并为一个提示然后应用奇异值重加权 (SVR) 和身份保留交叉注意力 (IPCA) 来生成身份一致的图像。(b)在SVR期间我们首先增强表达集X_exp的语义信息红色箭头然后迭代地削弱抑制集X_sup的语义蓝色箭头。(c)在IPCA中我们将 K_tilde 与 K_bar 连接将 V_tilde 与 V_bar 连接以提高身份一致性。 左1Prompt1Story 可以与 ControlNet 集成以实现空间控制从而实现一致的角色生成。右此外我们的方法还可以与其他方法例如 PhotoMaker结合使用以实现真实图像个性化同时提高身份一致性。
结果展示 现有方法上在 T2I 生成一致性方面面临挑战。SDXL 和 Juggernaut-X-v10 等 T2I 模型在生成的图像之间经常表现出明显的身份不一致。尽管包括 IP-Adapter 和 ConsiStory 在内的最新方法已经提高了身份一致性但它们失去了生成的图像与相应输入提示之间的一致性。我们方法的其他结果下展示了卓越的一致性同时不损害文本和图像之间的一致性。 对帧提示顺序的鲁棒性。使用同一组帧提示但不同的顺序我们的方法 1Prompt1Story 可以一致地生成具有统一标识的图像。 多主题故事生成。通过在身份提示中定义多个主题我们的方法生成具有多个角色的图像每个图像都保持良好的身份一致性。 种子变化。通过使用不同的种子1Prompt1Story 可以生成具有不同背景的图像同时保持一致的身份。 与不同的基础模型相结合。
