在建设银行网站能换美元吗,北京驾校网站建设,php网站用到的知识,我图网摘要
原文地址#xff1a; DeepSeek R1 AI 论文翻译 我们介绍了我们的第一代推理模型#xff0c;DeepSeek-R1-Zero 和 DeepSeek-R1。
DeepSeek-R1-Zero 是一个通过大规模强化学习#xff08;RL#xff09;训练的模型#xff0c;且在此过程中未使用监督微调#xff08;…摘要
原文地址 DeepSeek R1 AI 论文翻译 我们介绍了我们的第一代推理模型DeepSeek-R1-Zero 和 DeepSeek-R1。
DeepSeek-R1-Zero 是一个通过大规模强化学习RL训练的模型且在此过程中未使用监督微调SFT作为预处理步骤展现出了显著的推理能力。
通过 RLDeepSeek-R1-Zero 自然而然地展现了许多强大且引人注目的推理行为。
然而它也遇到了一些挑战如可读性差和语言混杂。为了应对这些问题并进一步增强推理性能我们推出了 DeepSeek-R1后者在 RL 之前引入了多阶段训练和冷启动数据。DeepSeek-R1 在推理任务上的表现与 OpenAI-o1-1217 相当。
为了支持研究社区我们开源了 DeepSeek-R1-Zero、DeepSeek-R1 以及六个基于 Qwen 和 Llama 提炼的深度模型1.5B、7B、8B、14B、32B、70B。
1. 引言
近年来大型语言模型LLMs经历了快速的迭代和进化Anthropic, 2024; Google, 2024; OpenAI, 2024a逐渐缩小了与人工通用智能AGI的差距。
最近后训练已成为完整训练流程中的一个重要组成部分。它已被证明可以提高推理任务的准确性与社会价值观对齐并适应用户偏好同时相较于预训练所需的计算资源相对较少。在推理能力方面OpenAI的o1系列模型OpenAI, 2024b首次通过增加思维链推理过程的长度引入了推理时间缩放。这种方法在数学、编码和科学推理等各种推理任务中取得了显著改进。然而有效的测试时间缩放仍然是研究界的一个开放性问题。之前的一些研究探索了各种方法包括基于过程的奖励模型Lightman等2023Uesato等2022Wang等2023、强化学习Kumar等2024以及蒙特卡洛树搜索和束搜索等搜索算法Feng等2024Trinh等2024Xin等2024。然而这些方法均未达到与OpenAI的o1系列模型相媲美的通用推理性能。
在本文中我们迈出了使用纯强化学习RL改进语言模型推理能力的第一步。我们的目标是探索LLMs在没有监督数据的情况下发展推理能力的潜力重点关注它们通过纯RL过程的自我进化。具体来说我们使用DeepSeek-V3-Base作为基础模型并采用GRPOShao等2024作为RL框架以提高模型在推理中的表现。在训练过程中DeepSeek-R1-Zero自然涌现出许多强大且有趣的推理行为。经过数千次RL步骤后DeepSeek-R1-Zero在推理基准测试中表现出超强性能。例如AIME 2024上的pass1分数从15.6%提高到71.0%通过多数投票分数进一步提高到86.7%与OpenAI-o1-0912的性能相匹配。
然而DeepSeek-R1-Zero遇到了可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能我们引入了DeepSeek-R1它结合了少量冷启动数据和多阶段训练流程。具体来说我们首先收集数千个冷启动数据来微调DeepSeek-V3-Base模型。随后我们进行类似DeepSeek-R1-Zero的面向推理的RL。在RL过程接近收敛时我们通过对RL检查点的拒绝采样创建新的SFT数据并结合来自DeepSeek-V3的写作、事实问答和自我认知等领域的监督数据然后重新训练DeepSeek-V3-Base模型。在使用新数据进行微调后检查点会经历额外的RL过程考虑所有场景的提示。经过这些步骤后我们获得了一个称为DeepSeek-R1的检查点其性能与OpenAI-o1-1217相当。
我们进一步探索了从DeepSeek-R1到更小密集模型的蒸馏。使用Qwen2.5-32BQwen, 2024b作为基础模型直接从DeepSeek-R1进行蒸馏优于在其上应用RL。这表明较大基础模型发现的推理模式对于提高推理能力至关重要。我们开源了蒸馏后的Qwen和LlamaDubey等2024系列。值得注意的是我们蒸馏的14B模型大幅优于最先进的开源QwQ-32B-PreviewQwen, 2024a而蒸馏的32B和70B模型在密集模型的推理基准测试中创下了新纪录。
1.1 贡献
后训练在基础模型上进行大规模强化学习
纯强化学习的突破我们直接在基础模型上应用强化学习RL而无需依赖监督微调SFT作为初步步骤。这种方法使模型能够探索思维链CoT以解决复杂问题从而开发出DeepSeek-R1-Zero。DeepSeek-R1-Zero展示了自我验证、反思和生成长思维链等能力标志着研究领域的一个重要里程碑。值得注意的是这是首次通过纯RL验证LLMs推理能力的研究无需SFT。这一突破为该领域的未来发展铺平了道路。 DeepSeek-R1的开发流程我们引入了开发DeepSeek-R1的流程。该流程包含两个RL阶段旨在发现改进的推理模式并与人类偏好对齐以及两个SFT阶段作为模型推理和非推理能力的基础。我们相信这一流程将通过创建更好的模型为行业带来益处。
蒸馏(Distillation)小模型也可以强大
推理模式的蒸馏我们证明了大模型的推理模式可以蒸馏到小模型中从而在小模型上实现比通过RL发现的推理模式更好的性能。开源的DeepSeek-R1及其API将为研究社区提供支持以便未来蒸馏出更好的小模型。 蒸馏模型的优异表现利用DeepSeek-R1生成的推理数据我们对研究社区广泛使用的多个密集模型进行了微调。评估结果表明蒸馏后的小型密集模型在基准测试中表现优异。例如DeepSeek-R1-Distill-Qwen-7B在AIME 2024上达到55.5%超越了QwQ-32B-Preview。此外DeepSeek-R1-Distill-Qwen-32B在AIME 2024上得分为72.6%在MATH-500上得分为94.3%在LiveCodeBench上得分为57.2%。这些结果显著优于之前的开源模型并与o1-mini相当。我们开源了基于Qwen2.5和Llama3系列的1.5B、7B、8B、14B、32B和70B检查点。
1.2 评估结果总结
推理任务
DeepSeek-R1的表现 在AIME 2024上DeepSeek-R1的Pass1得分为79.8%略高于OpenAI-o1-1217。 在MATH-500上DeepSeek-R1取得了97.3%的优异成绩与OpenAI-o1-1217持平并显著优于其他模型。 在代码相关任务中DeepSeek-R1在代码竞赛任务中表现出专家水平其在Codeforces上的Elo评分为2,029超过了96.3%的人类参赛者。 在工程相关任务中DeepSeek-R1的表现略优于DeepSeek-V3这可能对开发者在实际任务中有所帮助。
知识任务
DeepSeek-R1的优异表现 在MMLU、MMLU-Pro和GPQA Diamond等基准测试中DeepSeek-R1取得了显著优于DeepSeek-V3的成绩分别为90.8%、84.0%和71.5%。 尽管在这些基准测试中略低于OpenAI-o1-1217但DeepSeek-R1超越了其他闭源模型展示了其在教育任务中的竞争优势。 在事实基准测试SimpleQA上DeepSeek-R1优于DeepSeek-V3展示了其处理基于事实查询的能力。OpenAI-o1在该基准测试中也表现出类似的趋势超越了4o。
其他任务
广泛的任务表现DeepSeek-R1在创意写作、通用问答、编辑、摘要等广泛任务中表现出色。 在AlpacaEval 2.0上其长度控制胜率为87.6%。 在Arena-Hard上胜率为92.3%展示了其在处理非考试导向查询方面的强大能力。 在需要长上下文理解的任务中DeepSeek-R1表现尤为突出在长上下文基准测试中显著优于DeepSeek-V3。
