刷赞网站推广软件,苏州做商城网站设计,搜公司名到公司的网站,网站建设与制作布局目录
论文总结
摘要
1. 引言
2. 方法
2.1 架构
2.2 优化的训练策略
2.4 模型扩展
3. 实验
3.1 实施细节
3.2 评估设置
3.3 与最新技术的比较
3.4 定性结果
4. 结论 论文总结
Janus-Pro是DeepSeek最新开源的图像理解生成模型#xff0c;Janus-Pro在多模态理解和文…目录
论文总结
摘要
1. 引言
2. 方法
2.1 架构
2.2 优化的训练策略
2.4 模型扩展
3. 实验
3.1 实施细节
3.2 评估设置
3.3 与最新技术的比较
3.4 定性结果
4. 结论 论文总结
Janus-Pro是DeepSeek最新开源的图像理解生成模型Janus-Pro在多模态理解和文本到图像生成方面进行了显著改进的先进模型。它是之前工作 Janus 的升级版本主要通过优化训练策略、扩展训练数据和扩大模型规模来提升性能。
Janus-Pro 的架构基于解耦的视觉编码器。具体来说它使用 SigLIP 编码器 处理多模态理解任务中的图像特征使用 VQ tokenizer 处理视觉生成任务中的图像特征。这两种编码器分别将图像转换为特征序列然后将这些特征序列与文本特征序列合并输入到统一的自回归变换器中进行处理。这种设计有效缓解了多模态理解和生成任务之间的冲突使得模型在这两项任务上都能表现出色。
Janus-Pro 在以下三个方面进行了关键改进
1.优化训练策略 Janus-Pro 对训练过程进行了重新设计增加了第一阶段的训练步骤专注于在 ImageNet 数据集上训练视觉编码器以更好地建模像素依赖关系。在第二阶段直接使用正常的文本到图像数据进行训练避免了之前版本中对 ImageNet 数据的过度依赖提高了训练效率。此外在第三阶段的监督微调中调整了不同类型数据的比例进一步平衡了多模态理解和生成任务的训练。
2.扩充数据集 Janus-Pro 在多模态理解和视觉生成方面引入了大量高质量的数据。对于多模态理解增加了约 9000 万个样本包括图像字幕数据和表格、图表、文档理解数据。对于视觉生成引入了约 7200 万个合成审美数据样本使真实数据与合成数据的比例达到 1:1。这些数据的增加显著提升了模型的泛化能力和生成质量。
3.扩大模型 Janus-Pro 将模型规模从 1.5B 扩展到 7B显著提高了模型的表达能力和收敛速度。实验表明更大的模型在多模态理解和视觉生成任务上都表现出了更好的性能。
项目主页https://github.com/deepseek-ai/Janus
接下来是论文原文的翻译
Janus-Pro通过数据和模型扩展实现统一的多模态理解和生成
摘要
在本研究中我们介绍了 Janus-Pro这是之前工作 Janus 的一个高级版本。具体来说Janus-Pro 采用了1优化的训练策略2扩展的训练数据以及3更大的模型规模。凭借这些改进Janus-Pro 在多模态理解和文本到图像的指令跟随能力方面取得了显著进展同时增强了文本到图像生成的稳定性。我们希望这项工作能够激发该领域的进一步探索。代码和模型已公开。
1. 引言 图1 | Janus-Pro 的多模态理解和视觉生成结果。对于多模态理解我们平均了 POPE、MME-Perception、GQA 和 MMMU 的准确率。MME-Perception 的分数除以 20 以缩放到 [0, 100] 范围。对于视觉生成我们在两个指令跟随基准测试 GenEval 和 DPG-Bench 上评估性能。总体而言Janus-Pro 超越了之前的统一多模态模型以及一些特定任务的模型。最好在屏幕上查看。 图2 | Janus-Pro 与前代产品 Janus 在文本到图像生成之间的比较。Janus-Pro 在短提示下能够提供更稳定的输出具有改进的视觉质量、更丰富的细节并且能够生成简单文本。图像分辨率为 384×384。
最近在统一多模态理解和生成模型方面的进展已经取得了显著的成果。这些方法已被证明可以增强视觉生成任务中的指令跟随能力同时减少模型冗余。大多数方法使用相同的视觉编码器来处理多模态理解和生成任务的输入。由于这两个任务所需的表示不同这通常会导致多模态理解性能不佳。为了解决这一问题Janus 提出了视觉编码解耦缓解了多模态理解和生成任务之间的冲突实现了在两项任务中的出色表现。
作为开创性模型Janus 在 1B 参数规模上得到了验证。然而由于训练数据有限模型容量相对较小它在短提示图像生成和不稳定文本到图像生成质量方面表现出一定的不足。在本文中我们介绍了 Janus-Pro这是 Janus 的一个增强版本它在训练策略、数据和模型规模三个维度上进行了改进。Janus-Pro 系列包括两种模型规模1B 和 7B展示了视觉编码解码方法的可扩展性。
我们在多个基准测试上评估了 Janus-Pro结果表明其在多模态理解能力方面表现出色文本到图像指令跟随性能显著提高。具体来说Janus-Pro-7B 在多模态理解基准测试 MMBench 上得分为 79.2超过了其他统一多模态模型如 Janus69.4、TokenFlow68.9和 MetaMorph75.2。此外在文本到图像指令跟随排行榜 GenEval 上Janus-Pro-7B 得分为 0.80超过了 Janus0.61、DALL-E 30.67和 Stable Diffusion 3 Medium0.74。
2. 方法
2.1 架构
Janus-Pro 的架构如图 3 所示与 Janus 相同。整体架构的核心设计理念是解耦多模态理解和生成的视觉编码。我们应用独立的编码方法将原始输入转换为特征然后通过统一的自回归变换器进行处理。对于多模态理解我们使用 SigLIP 编码器从图像中提取高维语义特征。这些特征从二维网格展平为一维序列然后通过理解适配器将图像特征映射到 LLM 的输入空间。对于视觉生成任务我们使用 VQ tokenizer 将图像转换为离散 ID。将 ID 序列展平为一维后我们使用生成适配器将每个 ID 对应的码本嵌入映射到 LLM 的输入空间。然后我们将这些特征序列连接起来形成多模态特征序列随后将其输入到 LLM 中进行处理。除了 LLM 内置的预测头外我们还为视觉生成任务中的图像预测使用了一个随机初始化的预测头。整个模型遵循自回归框架。 图3 | Janus-Pro的架构。我们解耦了用于多模态理解和视觉生成的视觉编码。“Und. Encoder”和“Gen. Encoder”分别是“Understanding Encoder”理解编码器和“Generation Encoder”生成编码器的缩写。
2.2 优化的训练策略
Janus 的前一个版本采用了一个三阶段训练过程。第一阶段专注于训练适配器和图像头部。第二阶段处理统一预训练在此期间除了理解编码器和生成编码器之外的所有组件都会更新其参数。第三阶段是监督微调在第二阶段的基础上进一步在训练过程中解锁理解编码器的参数。这种训练策略存在一些问题。在第二阶段Janus 按照 PixArt 的方式将文本到图像能力的训练分为两部分。第一部分使用 ImageNet 数据以图像类别名称作为文本到图像生成的提示目标是建模像素依赖关系。第二部分使用正常的文本到图像数据进行训练。在实施过程中第二阶段 66.67% 的文本到图像训练步骤分配给了第一部分。然而通过进一步的实验我们发现这种策略是次优的并导致了显著的计算效率低下。
为了解决这一问题我们进行了两项改进 第一阶段的更长训练我们增加了第一阶段的训练步骤以便在 ImageNet 数据集上进行充分的训练。我们的发现表明即使在 LLM 参数固定的情况下模型也能够有效地建模像素依赖关系并根据类别名称生成合理的图像。 第二阶段的专注训练在第二阶段我们放弃了 ImageNet 数据直接使用正常的文本到图像数据来训练模型使其能够根据密集描述生成图像。这种重新设计的方法使得第二阶段能够更高效地利用文本到图像数据从而提高了训练效率和整体性能。
我们还调整了第三阶段监督微调过程中不同类型数据集的数据比例将多模态数据、纯文本数据和文本到图像数据的比例从 7:3:10 调整为 5:1:4。通过略微减少文本到图像数据的比例我们观察到这种调整使我们能够在保持强大的视觉生成能力的同时实现更好的多模态理解性能。
2.3 数据扩展 我们在多模态理解和视觉生成方面扩展了用于 Janus 的训练数据。 多模态理解对于第二阶段预训练数据我们参考了 DeepSeekVL2并增加了大约 9000 万个样本。这些包括图像字幕数据集例如 YFCC以及用于表格、图表和文档理解的数据例如 Docmatix。对于第三阶段监督微调数据我们也纳入了 DeepSeek-VL2 的额外数据集如 MEME 理解、中文对话数据以及旨在增强对话体验的数据集。这些新增内容显著扩展了模型的能力丰富了其处理多样化任务的能力同时改善了整体对话体验。 视觉生成我们发现前一个版本的 Janus 所使用的现实世界数据质量欠佳且包含大量噪声这常常导致文本到图像生成不稳定产生审美质量较差的输出。在 Janus-Pro 中我们纳入了大约 7200 万个合成审美数据样本在统一预训练阶段使真实数据与合成数据的比例达到 1:1。这些合成数据样本的提示是公开可用的例如 [43] 中的提示。实验表明模型在合成数据上训练时收敛速度更快生成的文本到图像输出不仅更加稳定而且在审美质量上也有显著提升。
2.4 模型扩展
Janus 的前一个版本使用 1.5B LLM 验证了视觉编码解耦的有效性。在 Janus-Pro 中我们将模型扩展到 7B1.5B 和 7B LLM 的超参数详细信息见表 1。我们发现当使用更大规模的 LLM 时多模态理解和视觉生成的损失收敛速度显著提高与较小模型相比优势明显。这一发现进一步验证了这种方法的强大可扩展性。
表1 | Janus-Pro 的架构配置。我们列出了架构的超参数。 表2 | Janus-Pro 训练的详细超参数。数据比例是指多模态理解数据、纯文本数据和视觉生成数据的比例。 3. 实验
3.1 实施细节
在我们的实验中我们使用 DeepSeek-LLM1.5B 和 7B作为基础语言模型最大支持的序列长度为 4096。对于理解任务中使用的视觉编码器我们选择了 SigLIP-Large-Patch16-384。生成编码器的码本大小为 16,384图像下采样因子为 16。理解适配器和生成适配器都是两层 MLP。每个阶段的详细超参数见表 2。请注意在第二阶段我们采用了提前停止策略在 270K 步骤时停止训练。所有图像都被调整为 384×384 像素。对于多模态理解数据我们将图像的长边调整大小并用背景颜色RGB127,127,127填充短边以达到 384。对于视觉生成数据将短边调整为 384长边裁剪为 384。我们在训练中使用序列打包以提高训练效率。我们根据指定的比例在单个训练步骤中混合所有数据类型。我们的 Janus-Pro 使用 HAI-LLM 进行训练和评估这是一个基于 PyTorch 构建的轻量级高效分布式训练框架。整个训练过程大约花费了 9/14 天分别在 16/32 个节点的集群上进行每个节点配备 8 个 Nvidia A10040GBGPU。
3.2 评估设置
多模态理解为了评估多模态理解能力我们在广泛认可的基于图像的视觉语言基准测试中评估我们的模型这些测试包括 GQA、POPE、MME、SEED、MMB、MM-Vet 和 MMMU。
视觉生成为了评估视觉生成能力我们使用 GenEval 和 DPG-Bench。GenEval 是一个针对文本到图像生成的挑战性基准测试旨在通过提供详细实例级分析来反映视觉生成模型的综合生成能力。DPG-Bench密集提示图基准测试是一个包含 1065 个长且密集提示的综合数据集旨在评估文本到图像模型的复杂语义对齐能力。
3.3 与最新技术的比较
多模态理解性能我们将提出的方法与最新统一模型和仅理解模型进行了比较结果见表 3。Janus-Pro 实现了整体最佳结果。这可以归因于解耦多模态理解和生成的视觉编码缓解了这两项任务之间的冲突。与规模大得多的模型相比Janus-Pro 仍然具有很强的竞争力。例如Janus-Pro-7B 在所有基准测试中除了 GQA均超过了 TokenFlow-XL13B。
表3 | 与多模态理解基准测试中的最新技术进行比较。“Und.” 和 “Gen.” 分别表示 “理解” 和 “生成”。使用外部预训练扩散模型的模型用†标记。 视觉生成性能我们在 GenEval 和 DPG-Bench 上报告了视觉生成性能。如表 4 所示我们的 Janus-Pro-7B 在 GenEval 上获得了 80% 的总体准确率超过了所有其他统一或仅生成方法例如 Transfusion63%、SD3-Medium74%和 DALL-E 367%。这表明我们的方法具有更好的指令跟随能力。如表 5 所示Janus-Pro 在 DPG-Bench 上得分为 84.19超过了所有其他方法。这表明 Janus-Pro 在遵循密集指令进行文本到图像生成方面表现出色。
表4 | 在 GenEval 基准测试中对文本到图像生成能力的评估。“Und.” 和 “Gen.” 分别表示 “理解” 和 “生成”。使用外部预训练扩散模型的模型用†标记。 表5 | DPG-Bench 上的性能。本表中的方法均为仅生成模型除了 Janus 和 Janus-Pro。 3.4 定性结果
我们在图 4 中展示了多模态理解的结果。Janus-Pro 在处理来自各种上下文的输入时表现出令人印象深刻的理解能力展示了其强大的能力。我们还在图 4 的下半部分展示了一些文本到图像的生成结果。Janus-Pro-7B 生成的图像非常逼真尽管分辨率仅为 384×384但仍然包含大量细节。对于富有想象力和创造力的场景Janus-Pro-7B 准确地从提示中捕捉语义信息生成了合理且连贯的图像。 图4 | 多模态理解和视觉生成能力的定性结果。模型为 Janus-Pro-7B视觉生成的图像输出分辨率为 384×384。最好在屏幕上查看。
4. 结论
本文从训练策略、数据和模型规模三个方面对 Janus 进行了改进。这些改进使得多模态理解和文本到图像指令跟随能力都取得了显著进展。然而Janus-Pro 仍然存在一些限制。在多模态理解方面输入分辨率限制在 384×384这影响了其在细粒度任务如 OCR中的性能。对于文本到图像生成低分辨率加上视觉 tokenizer 引入的重建损失导致生成的图像虽然语义丰富但在细节上仍然缺乏精细度。例如占据有限图像空间的小面部区域可能会显得细节不足。提高图像分辨率可能会缓解这些问题。
