html5网站开发实例书籍,app下载排行榜,做网站语言知乎,网站建设用什么工具继之前和大家介绍的小红书在ID保持以及风格转换方面相关的优秀工作#xff0c;感兴趣的小伙伴可以点击以下链接阅读~
近期#xff0c;小红书又新开源了一款文生图身份保持项目#xff1a;StoryMaker#xff0c;是一种个性化解决方案#xff0c;它不仅保留了面部的一致性感兴趣的小伙伴可以点击以下链接阅读~
近期小红书又新开源了一款文生图身份保持项目StoryMaker是一种个性化解决方案它不仅保留了面部的一致性还保留了多个角色场景中的服装、发型和身体的一致性从而有可能制作由一系列图像组成的故事。 StoryMaker通过其强大的特性彻底改变了多角色叙事创作的方式。它不仅能帮助创作者快速生成高质量的连续图像还能确保每个角色的特征始终保持一致无需反复进行人工调整。
下图是由StoryMaker 生成的图像。前三行讲述了上班族一天的生活故事后两行讲述了一部电影《爱在黎明破晓前》的故事。 相关链接
项目地址https://github.com/RedAIGC/StoryMaker 论文地址https://arxiv.org/pdf/2409.12576 模型地址https://huggingface.co/RED-AIGC/StoryMaker
论文阅读 StoryMaker在文本到图像生成中实现一致的人物形象
摘要
无需调整的个性化图像生成方法在保持面部一致性即身份方面取得了重大成功即使有多个角色也是如此。然而在有多个角色的场景中缺乏整体一致性阻碍了这些方法创建连贯叙事的能力。
本文介绍的StoryMaker是一种个性化解决方案它不仅保留了面部一致性还保留了服装、发型和身体一致性从而通过一系列图像促进故事的创作。StoryMaker 结合了基于面部身份和裁剪角色图像的条件包括服装、发型和身体。
具体来说使用位置感知感知器重采样器 (PPR) 将面部身份信息与裁剪角色图像相结合以获得不同的角色特征。为了防止多个角色和背景混合使用带分割蒙版的 MSE 损失分别约束不同角色和背景的交叉注意力影响区域。此外训练以姿势为条件的生成网络以促进与姿势的解耦。还采用了 LoRA 来提高保真度和质量。实验证明了该方法的有效性。StoryMaker 支持众多应用程序并与其他插件兼容
方法 StoryMaker 的模型架构。 面部图像和角色图像分别使用面部编码器和图像编码器进行嵌入并通过提出的位置感知感知器重采样器模块进行细化。使用与 LoRA 解耦的交叉注意力将这些嵌入注入扩散模型。在底部用分割掩码说明了交叉注意力图上的注意力损失。右侧还描绘了 PPR 模块的核心。
给定一张包含一两个角色的参考图像StoryMaker 会尝试生成一系列具有相同角色的新图像这些新图像不仅保留相同的面孔即身份还保留他们的衣着、发型和身体。然后可以根据文本提示通过改变背景、角色的姿势和风格来创建叙事。
具体来说首先使用面部编码器提取角色的面部信息即身份并通过角色图像编码器提取其衣着、发型和身体的细节。然后使用所提出的位置感知感知器重采样器来细化这些信息。 为了控制主干生成网络将细化的信息注入 IP-Adapter 提出的解耦交叉注意模块。 为了防止多个角色和背景交错分别限制了不同角色和背景的交叉注意的影响区域。此外还使用了 ID 损失来维护角色的身份。 为了将姿势信息与参考图像分离以 ControlNet检测到的姿势为条件训练网络。 为了提高保真度和质量还使用 LoRA 训练 U-Net。
训练完成后可以丢弃整个 ControlNet 并通过文本提示控制角色的姿势或者在推理过程中使用新姿势指导图像生成。
实验
两幅肖像合成 双字符图像生成的可视化。前两列显示两个不同的参考字符图像。中间的四列说明了StoryMaker实现现实合成的能力。最后四列展示了风格化合成的结果其中字符嵌入被设置为零。
多样性应用 StoryMaker的各种应用。 单个字符条件生成的视觉对比。
结论
本文给大家介绍了 StoryMaker这是一种新颖的个性化图像生成方法它不仅在面部身份方面保持了一致性而且在多个角色场景中的服装、发型和身体方面也保持了一致性。
该方法通过文本提示允许背景、姿势和风格变化从而增强了叙事创作实现了多样化和连贯的故事讲述。StoryMaker 利用位置感知感知器重采样器通过融合从面部图像和裁剪的角色图像中提取的特征来获得不同的角色嵌入。为了防止多个角色和背景混合使用 MSE 损失和分割蒙版分别限制不同角色和背景的交叉注意力影响区域。通过结合 ControlNet 的姿势解耦和 LoRA 的保真度增强StoryMaker 可以持续生成具有匹配身份和视觉一致性的高质量图像。广泛的实验证明了 StoryMaker 在保持角色身份和一致性方面的卓越性能尤其是在多角色场景中优于现有的无调整模型。
该模型的多功能性通过各种应用得到进一步凸显例如换装、角色插值以及与其他生成插件的集成。StoryMaker 为个性化图像生成做出了巨大贡献并为数字故事讲述、漫画和其他领域的广泛应用开辟了可能性在这些领域中个性和叙事连贯性至关重要。
