如何伪原创 网站,怎么做网络广告推广,西安旅游攻略2天自由行攻略,网站建设.龙兵报告链接#xff1a;https://stability.ai/news/stable-diffusion-3-research-paper 文章目录 要点表现架构细节通过重新加权改善整流流量Scaling Rectified Flow Transformer Models灵活的文本编码器RF相关论文 要点
发布研究论文#xff0c;深入探讨Stable Diffuison 3的…报告链接https://stability.ai/news/stable-diffusion-3-research-paper 文章目录 要点表现架构细节通过重新加权改善整流流量Scaling Rectified Flow Transformer Models灵活的文本编码器RF相关论文 要点
发布研究论文深入探讨Stable Diffuison 3的底层技术基于人类偏好评估Stable Diffusion 3 在排版和提示遵守方面优于最先进的文本到图像生成系统例如 DALL·E 3、Midjourney v6 和 Ideogram v1新的多模态扩散Transformer (MMDiT) 架构对图像和语言表示使用单独的权重集合与以前版本的 SD3 相比这提高了文本理解和拼写能力
继宣布 Stable Diffusion 3 的早期预览版之后又发布了一份研究论文概述了即将发布的模型的技术细节。
表现 以 SD3 作为基线根据人类对视觉美学、提示跟随和版式的评估概述其与竞争模型对比情况 将 Stable Diffusion 3 的输出图像与其他各种开放模型包括 SDXL、SDXL Turbo、Stable Cascade、Playground v2.5 和 Pixart-α以及闭源系统如 DALL·E 3、Midjourney v6 和 Ideogram v1进行基于人类反馈的性能对比。在这些测试中向人类评估者提供了每个模型的示例输出并要求他们根据模型输出与提示上下文的紧密程度“提示跟随”、基于提示的文本呈现程度“排版”以及哪幅图像具有更高的美学质量“视觉美学”来选择最佳结果。
测试结果表明Stable Diffusion 3在所有上述领域都等于或优于当前最先进的文本到图像生成系统。在早期的消费者硬件上进行的未优化推理测试中最大的SD3模型具有8B个参数适合RTX 4090的24GB VRAM当使用50个采样步骤时需要34秒能生成分辨率为1024x1024的图像。此外Stable Diffusion 3在首次发布期间将有多种变体从800M到8B的参数模型以进一步消除硬件障碍。
架构细节
对于文本到图像的生成SD3模型考虑文本和图像这两种模式这是为什么将这种新架构称为 MMDiT指的是它处理多种模式的能力。与之前版本的稳定扩散一样使用预训练模型来导出合适的文本和图像表示。具体来说SD3使用三种不同的文本嵌入器两个 CLIP 模型和 T5来编码文本表示并使用改进的自动编码模型来编码图像tokens。
MMDIT SD3 架构建立在 DiT 的基础上。由于文本和图像嵌入在概念上完全不同因此对这两种模式使用两组独立的权重。如上图所示这相当于每种模态都有两个独立的Transformers但是将两种模态的序列连接起来进行注意力操作这样两种表示都可以在自己的空间中工作同时考虑另一种表示。 训练过程中测量视觉保真度和文本对齐MMDiT 架构优于已建立的文本到图像主干UViT 和 DiT
通过使用这种方法信息可以在图像和文本标记之间流动以提高生成的输出中的整体理解和排版。正如在论文中讨论的那样这种架构还可以轻松扩展到视频等多种模式。 得益于 Stable Diffusion 3 改进的提示跟随功能模型能够创建专注于各种不同主题和质量的图像同时对图像本身的风格保持高度灵活性。
通过重新加权改善整流流量
Stable Diffusion 3 采用整流流 (RF) 公式相关论文其中数据和噪声在训练期间以线性轨迹连接。这会产生更直的推理路径从而允许用更少的步骤进行采样。此外在训练过程中引入了一种新颖的轨迹采样计划。这个schedule给予轨迹的中间部分更多的权重因为假设这些部分会导致更具挑战性的预测任务。使用多个数据集、指标和采样器设置进行比较针对 60 个其他扩散轨迹例如 LDM、EDM 和 ADM对比测试。结果表明虽然以前的 RF 公式在少步采样方案中表现出改进的性能但它们的相对性能随着步数的增加而下降。相比之下重新加权的 RF 变体不断提高性能。
Scaling Rectified Flow Transformer Models 使用重新加权的整流流公式和 MMDiT 主干对文本到图像的合成进行了缩放研究。训练模型范围从具有 15 个blocks的450M 参数到具体 38 个blocks的 8B 参数并观察到验证损失随着模型大小和训练步骤的函数而平滑下降上行。为了测试这是否转化为模型输出的有意义的改进还评估了自动图像对齐指标 (GenEval) 以及人类偏好评分 (ELO)下行。结果表明这些指标与验证损失之间存在很强的相关性表明后者是整体模型性能的有力预测因子。此外扩展趋势没有显示出饱和的迹象可乐观地认为未来可以继续提高模型的性能。
灵活的文本编码器
通过移除用于推理的内存密集型 4.7B 参数 T5 文本编码器SD3 的内存需求可以显着降低而性能损失很小。删除此文本编码器不会影响视觉美感无 T5 的胜率50%只会导致文本依从性略有下降胜率 46%如上图“性能”部分下所示。然而建议包括 T5以充分利用 SD3 生成书面文本的能力因为观察到如果没有 T5版式生成的性能会大幅下降胜率 38%如下例所示 RF相关论文 Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified FlowBuilding Normalizing Flows with Stochastic InterpolantsFlow Matching for Generative Modeling
