付钱做编程题目的网站,wordpress缓存优化,网站首页文件名通常是,东城建站推广前言
DeepSeek-R1这么火#xff0c;虽然网上很多介绍和解读#xff0c;但听人家的总不如自己去看看原论文。于是花了大概一周的时间#xff0c;下班后有进入了研究生的状态---读论文。
DeepSeek这次的目标是探索在没有任何监督数据的情况下训练具有推理能力的大模型#…前言
DeepSeek-R1这么火虽然网上很多介绍和解读但听人家的总不如自己去看看原论文。于是花了大概一周的时间下班后有进入了研究生的状态---读论文。
DeepSeek这次的目标是探索在没有任何监督数据的情况下训练具有推理能力的大模型最初的方向是通过纯强化学习过程进行自我进化来具备推理能力。当然这个目标并未完全实现最终还是使用到的监督数据进行微调。
做的第一个尝试就是使用大规模强化学习 RL 训练训练出来的模型称之为: DeepSeek-R1-Zero. 实验结果显示该模型的输出可读性差和语言混合等挑战。
然后考虑是否可以使用少量高质量的数据进行少样本监督训练和强化学习相结合的方式来提升推理能力并且提升输出结果质量。这一种思路训练出来的模型便是DeepSeek-R1
顺着这个思路DeepSeek又进行了下一步的尝试上一步使用的数据在其他大模型如阿里的QWen上进行微调训练即蒸馏过程。实验结果显示该过程可以显著提升其他没有推理能力的模型也具有良好的推理能力。
详情如下水平有限内容可能有误仅个人理解个人记录而已。
DeepSeek-R1-Zero
为了实现目标首先做了开放研究尝试只用通过大规模强化学习 RL 训练的模型仅通过 RL 有效学习和泛化的能力没有监督微调 SFT 训练出来的模型称为DeepSeek-R1-Zero但实验发现该模型它遇到了可读性差和语言混合等挑战。
虽然这个尝试不尽人意但其训练过程还是具有一定参考意义。也是实验过程中发现了两件有意思的事情。
首先训练过程中发现随着测试时间的增加DeepSeek-R1-Zero出现了自我进化的现象会进行自我进行更复杂的行为如下图所示比如会主动重新评估先前的步骤会自己探索解决方案的代替方法。这些行为是与强化学习环境交互自己出现的并且显著增强了模型的推理能力从而使得训练出来的模型可以更高效更准确的处理更具有挑战性的任务 另外一件事是“Aha Moment”DeepSeek-R1-Zero 自己会分配更多的思考时间来重新评估其初始方法从而思考是否有更有效更准确的解决方案。下图给了一个具体的例子。
“Aha Moment”说明了对于大模型推理能力的训练不需要明确的教它如何解决问题只需要简单地为其提供正确的激励措施然后它就会自主进行思考从而找到更有效的解决策略。“Aha Moment”也在提醒我们强化学习有可能在AI训练中解锁新的智能水平为未来开发出更加自主和自适应的大模型铺平道路。 DeepSeek-R1使用冷启动进行强化学习
DeepSeek-R1-Zero 遇到了可读性差和语言混合等挑战。为了解决DeepSeek-R1-Zero遇到的问题从两个方向进行了尝试 是不是可以使用少量高质量的数据作为冷启动cold start来进一步提高推理性能或者减少训练成本 对于DeepSeek-R1-Zero 遇到的可读性差和语言混合等挑战如何训练出一个模型。用户友好可以产生清晰连贯的思维链CoT也有强大的通用能力。
为了获取高质量的数据从以下三种方式进行了数据生产论文中称之为cold start data冷启动数据。 用具有长思维链CoT的少样本few-shot提示词 直接让模型来通过思考和验证来生成详细的答案 收集DeepSeek-R1-Zero的输出然后通过人工标注进行后处理来提炼结果
有了冷启动数据之后便开始微调 DeepSeek-V3-Base 模型。结果显示可读性大大增强。而且相对于DeepSeek-R1-Zero 使用人类设计标注的冷启动数据的训练模式性能更好。
Reasoning-oriented Reinforcement Learning面向推理的强化学习
为了进一步增强它在推理密集型任务中推理能力。比如编程逻辑推理等任务这些任务有定义明确的问题和解决方案。参考DeepSeek-R1-Zero训练过程 对微调后的DeepSeek-V3-Base模型进行了大规模的强化学习训练
同样在实验中发现在CoT过程中已经出现了语言混合的问题尤其是涉及到多种语言时更容易出错。为了缓解语言混合问题训练期间引入了语言一致性奖励language consistency reward其计算方式是目标语言单词在 CoT 中的比例。虽然这种语言对齐会导致性能略有下降但这种奖励与人类的偏好一致使其更具可读性。
最后将推理任务的准确性the accuracy of reasoning tasks和语言一致性的奖励结合起来直接相加形成最终的奖励。然后我们在微调模型上进行强化学习训练直到它在推理任务上实现收敛。 Rejection Sampling and Supervised Fine-Tuning 抑制采样和监督微调
在有了一定推理能力之后为了增加其在写作角色扮演和其他通用任务的能力。利用结果检查点resulting checkpoint来收集SFTSupervised Fine-Tuning数据来用于下一轮训练以增强其通用能力。
为了增量通用能力收集了两类数据Reasoning data -- 推理数据Non-Reasoning data 非推理数据。
为了获取Reasoning data -- 推理数据我们通过在结果检查点resulting checkpoint通过抑制采样rejection sampling来获取推理提示reasoning prompts和推理轨迹reasoning trajectories。其中一些数据通过使用生成奖励模型将真实数据和模型预测输入到 DeepSeek-V3 中进行判断是否合格。
经过滤之后。我们总共收集了大约 600k 个推理相关的训练样本。
对于非推理数据如写作、翻译我们采用 DeepSeek-V3 管道并复用 DeepSeek-V3 的 SFT 数据集的一部分。我们总共收集了大约 200k 个与推理无关的训练样本。
我们使用上述约 800k 样本的精选数据集对 DeepSeek-V3-Base 进行了两个 epoch 的微调。 Reinforcement Learning for all Scenarios适用于所有场景的强化学习
为了进一步使模型与人类偏好保持一致保证模型的有用性和无害性进一步完善模型的推理能力。我们实现了一个二级强化学习阶段。
使用奖励信号reward signal和多种提示分布Diverse Prompt Distributions的组合来训练模型。对于推理数据跟DeepSeek-R1-Zero一样利用基于规则的奖励来执行推理过程。
DeepSeek-R1 EvaluationDeepSeek-R1 评估 DeepSeek-R1 表现出优于 DeepSeek-V3 的性能。这种改进主要归因于 STEM 相关问题的准确性提高其中通过大规模强化学习实现了显著的收益。
此外DeepSeek-R1 在 FRAMES 方面表现出色这是一项长期依赖上下文的 QA 任务展示了其强大的文档分析能力。这凸显了推理模型在 AI 驱动的搜索和数据分析任务中的潜力。在factual benchmark SimpleQADeepSeek-R1 的性能优于 DeepSeek-V3展示了其处理基于事实的查询的能力。
在此基准上OpenAI-o1 超过 GPT-4o 也观察到类似的趋势。然而DeepSeek-R1 在Chinese SimpleQA 基准测试中的表现比 DeepSeek-V3 差主要是因为它倾向于在安全 RL 之后拒绝回答某些查询。在没有安全 RL 的情况下DeepSeek-R1 可以达到超过 70% 的准确率。
Distillation: Empower Small Models with Reasoning Capability蒸馏为小模型赋予推理能力
此外也将收集到的800k 样本直接对Qwen和Llama等模型进行了微调这种简答的蒸馏方式显著增强了模型的推理能力。蒸馏模型评估结果如下蒸馏法具有强大的潜力 在蒸馏过程了只使用了SFTSupervised Fine-Tuning数据进行微调。为了验证大规模 RL 训练实现与蒸馏相当的性能在这一节又进行了一步实验在Qwen-32B模型上进行大规模的0样本强化训练结果显示不如使用SFTSupervised Fine-Tuning数据进行微调的结果。 总结和展望
作者在文中的结论有一定的余地得出来两个结论。
首先将更强大的模型蒸馏成更小的模型会产生极好的结果但小模型进行依赖于本大规模 RL 训练需要巨大的计算能力甚至可能无法达到蒸馏的性能。
其次虽然蒸馏策略既经济又有效但超越intelligence界限可能仍然需要更强大的基础模型和更大规模的强化学习。
对未来有以下三点展望。 通用能力目前DeepSeek-R1 在函数调用、多轮次、复杂角色扮演和 JSON 输出等任务方面的能力不如 DeepSeek-V3。展望未来我们计划探索可以利用 CoT 来增强这些领域的任务多长时间。 语言混合DeepSeek-R1 目前针对中文和英文进行了优化这可能会导致在处理其他语言的查询时出现语言混合问题。例如DeepSeek-R1 可能会使用英语进行推理和响应即使查询使用的是英语或中文以外的语言。我们的目标是在将来的更新中解决此限制。 提示工程在评估 DeepSeek-R1 时我们观察到它对提示很敏感。Few-shot 提示始终会降低其性能。因此我们建议用户直接描述问题并使用zero-shot设置指定输出格式以获得最佳结果。
ps 膜拜大佬。DeepSeek-R1虽然不是第一个推理大模型但R1的出现第一次让推理模型能被大多数人用上而且是免费用上并且进行了开源。此外蒸馏小模型的尝试也提供了一种新的思路--通过少样本在通用大模型基础上进行微调同样可以实现具有推理能力的推理模型。这对于企业训练微调自己的推理模型提供了技术可行性和经济可行性。
