一、引子

最近拜读了《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs viaReinforcement Learning》，该论文讨论了DeepSeek-R1模型，该模型旨在通过强化学习（RL）提升大语言模型（LLM）的推理能力。

二、论文的关键要点总结

DeepSeek-R1 和 DeepSeek-R1-Zero 模型：

DeepSeek-R1-Zero 通过纯强化学习训练，完全不依赖于监督微调（SFT）。该模型展示了令人印象深刻的推理能力，如自我验证和反思，但存在可读性差和语言混合等问题。
为了解决这些问题，DeepSeek-R1 引入了多阶段训练流程，首先使用冷启动数据对基础模型进行微调，然后使用推理导向的强化学习（RL）和监督微调（SFT）。这种方法提高了模型的可读性和性能，使其在推理任务上达到与OpenAI模型（如OpenAI-o1-1217）相当的水平。

推理能力的蒸馏：

论文探索了如何将大模型（如DeepSeek-R1）学到的推理模式蒸馏到小模型中。这一蒸馏方法使得小模型在推理任务上表现出色，超越了一些最先进的模型。
从DeepSeek-R1蒸馏出的较小模型（1.5B、7B、14B、32B、70B）在AIME 2024和MATH-500等基准测试上表现良好，为小模型提供了增强推理能力的有效方法，而不需要直接进行RL训练。

模型评估与基准测试：

DeepSeek-R1在多个推理任务上的表现进行了评估，包括AIME 2024、MATH-500、Codeforces等。DeepSeek-R1在数学推理和编程任务中表现出色，在多个任务中超过了现有的OpenAI模型（如o1-1217）。
蒸馏后的模型在这些基准测试上也取得了竞争力的成绩，像DeepSeek-R1-Distill-Qwen-7B这样的较小模型超过了QwQ-32B-Preview等模型。

挑战与未来工作：

尽管DeepSeek-R1取得了成功，但它仍面临一些挑战，如语言混合问题以及对提示结构（尤其是少量样本提示）的敏感性。此外，模型在软件工程任务上的能力仍然有限，因为在此类领域进行RL训练效率较低。
未来的工作将集中在改善语言一致性、增强非推理任务的表现，并优化RL应用以提高在软件工程任务中的性能。

该论文的关键创新点在于使用强化学习直接训练大语言模型的推理能力，绕过了监督数据的需求，同时成功地将推理能力蒸馏到较小的模型中。

三、摘要

论文摘要：简洁地介绍了两款推理模型：DeepSeek-R1-Zero 和 DeepSeek-R1，它们的主要特点和发展过程如下：

DeepSeek-R1-Zero：
这是第一代推理模型，采用了大规模的强化学习（RL）进行训练，而没有使用监督微调（SFT）作为前期步骤。通过强化学习，DeepSeek-R1-Zero 自然地展现出了强大的推理能力，能够完成许多复杂的推理任务。但它也存在一些问题，比如可读性差，且有时会出现语言混合的问题。
DeepSeek-R1：
为了解决 DeepSeek-R1-Zero 中的这些问题，作者引入了 DeepSeek-R1，这款模型在强化学习之前加入了多阶段训练和冷启动数据（即使用一些初步的标注数据进行训练），从而提高了推理能力和模型的可读性。最终，DeepSeek-R1 的推理表现与 OpenAI-o1-1217 相当。
开源贡献：为了支持科研社区，作者开源了DeepSeek-R1-Zero、DeepSeek-R1 以及从 DeepSeek-R1 蒸馏出来的六个较小模型（参数规模分别为 1.5B、7B、8B、14B、32B 和 70B），这些模型基于 Qwen 和 Llama。

四：目录和正文

①Introduction：简要说明了近年来大型语言模型（LLMs）的发展，特别是推理能力的提升。

语言模型的快速发展：

近年来，大型语言模型（LLMs）在不断更新迭代，逐渐缩小了与人工通用智能（AGI）的差距。AGI指的是可以像人类一样处理任何任务的智能系统。

后期训练（Post-training）：

后期训练已成为模型训练流程中的一个重要环节。它能够提升模型在推理任务上的准确性，同时与社会价值对齐，适应用户的需求，而且相对于前期训练所需的计算资源要少得多。

推理能力的挑战：

OpenAI的模型通过增加“思维链”（Chain-of-Thought, CoT）的长度，在推理任务中取得了显著的进展。这种方法帮助模型在数学、编程和科学推理等领域取得了显著成效。但如何在测试时扩展推理能力仍然是一个开放的问题。

提出的创新方法：

该论文提出了一种通过强化学习（RL）直接提升语言模型推理能力的方法，不依赖于任何监督数据（即不使用标注数据进行训练）。他们使用一个名为DeepSeek-V3-Base的基础模型，并用GRPO（一种强化学习算法）框架来提升推理表现。
在训练过程中，DeepSeek-R1-Zero（该模型的第一个版本）表现出强大的推理行为，经过数千次的强化学习训练，它在推理任务上的表现显著提升。例如，在AIME 2024基准测试中的得分从最初的15.6%提升到71.0%，通过多数投票后，得分进一步提升至86.7%，达到了与OpenAI的模型o1-0912相当的水平。

遇到的挑战和优化：

尽管DeepSeek-R1-Zero表现优秀，但它的可读性较差，且有时会出现语言混合的问题。为了改善这些问题，论文作者引入了DeepSeek-R1模型，采用了多阶段训练和冷启动数据（即使用一些初步数据进行训练）来进一步提高推理能力。
训练过程中，首先使用冷启动数据对基础模型进行微调，然后进行推理导向的强化学习（与DeepSeek-R1-Zero类似）。接着，创建新的数据集来进行监督微调，并将其用于训练模型，最后再进行一次强化学习训练，从而得到DeepSeek-R1，其推理能力与OpenAI的模型相当。

蒸馏技术的探索：

论文还探讨了从DeepSeek-R1蒸馏（提取）推理能力到更小的模型。通过直接蒸馏，使用较小的基础模型（例如Qwen2.5-32B）获得的效果比直接应用强化学习更好。
通过这种蒸馏方法，作者成功提升了较小模型（如14B和32B）的推理能力，并在推理基准测试中创下了新纪录。

Contributions：总结了模型在各类任务中的评估结果。以下是对该部分的解读：

1. 主要贡献

后期训练与强化学习（RL）应用：

论文的一个关键创新是，DeepSeek-R1 通过直接应用强化学习（RL）在基础模型上进行训练，而不依赖传统的监督微调（SFT）。这种方法允许模型通过“思维链”（Chain-of-Thought, CoT）来解决复杂问题，推动了 DeepSeek-R1-Zero 的发展。
DeepSeek-R1-Zero 展现了自我验证、反思能力和生成长思维链的能力，这标志着在推理任务中的一个重要进步。
这是首次通过纯粹的RL方法提升大语言模型的推理能力，而不需要监督微调（SFT），为未来的研究开辟了新方向。

DeepSeek-R1模型的改进：

DeepSeek-R1 在 DeepSeek-R1-Zero 的基础上进行了进一步改进，引入了多阶段训练和冷启动数据，优化了模型的推理能力，并且增加了与人类偏好对齐的强化学习阶段，同时继续使用 SFT 阶段来优化模型的推理和非推理能力。
这个改进的流程能够为业界带来更好的推理能力，提升模型的普适性和效果。

蒸馏技术的应用：

论文还展示了如何将较大模型的推理模式蒸馏到更小的模型中，并证明蒸馏出的较小模型在推理任务中比直接通过RL训练的小模型表现更好。
使用 DeepSeek-R1 生成的推理数据，作者对多个常用的稠密模型进行了微调，结果显示这些蒸馏后的模型在基准测试中表现异常优秀，超过了之前一些开放源代码模型的表现。
比如，DeepSeek-R1-Distill-Qwen-7B 在 AIME 2024 基准测试中达到了 55.5% 的 Pass@1，超越了 QwQ-32B-Preview。另外，DeepSeek-R1-Distill-Qwen-32B 在多个测试中也有很好的表现，分别在 AIME 2024 和 MATH-500 上取得了 72.6% 和 94.3%的成绩。

评估结果概述

推理任务：

DeepSeek-R1 在 AIME 2024 上取得了 79.8% 的 Pass@1，略微超过了 OpenAI 的 o1-1217。在 MATH-500 上，表现十分出色，达到了 97.3%，与 OpenAI 的 o1-1217 相当。
在编程相关任务上，DeepSeek-R1 的表现堪称专家级，在 Codeforces 上达到了 2029 的 Elo 评分，超越了 96.3%的参赛者。

知识处理能力：

在多个知识类基准测试（如 MMLU、MMLU-Pro 和 GPQA Diamond）中，DeepSeek-R1 的表现超过了 DeepSeek-V3，在 MMLU 上得分为 90.8%，在 GPQA Diamond 上为 71.5%。虽然在这些基准测试上稍微逊色于 OpenAI-o1-1217，但 DeepSeek-R1 的表现仍然优于其他闭源模型，显示出它在教育任务上的竞争力。
在事实性问题的基准测试 SimpleQA 上，DeepSeek-R1 超越了 DeepSeek-V3，展现了其处理事实性问题的能力。

其他任务：

DeepSeek-R1 在创意写作、问答、编辑、总结等任务中也表现出色，特别是在非考试类任务上，展示了其强大的处理能力。比如，在 AlpacaEval 2.0 上，它以 87.6%的长度控制胜率表现出色，在 ArenaHard 上的胜率为 92.3%。
另外，DeepSeek-R1 在需要长上下文理解的任务中，显著超越了 DeepSeek-V3，表现出了它在处理长文本方面的优势。小结

DeepSeek-R1 模型通过引入强化学习（RL）和蒸馏技术，显著提升了推理能力，并且在多个任务中超过了之前的模型，尤其是在数学、编程和知识处理等领域。
论文中展示的多阶段训练方法和冷启动数据的结合，以及推理能力的蒸馏方法，为未来语言模型的发展提供了新的思路和技术路径。

②Approach：详细阐述了 DeepSeek-R1 和 DeepSeek-R1-Zero 的训练方法和过程，尤其是通过强化学习（RL）提升推理能力的具体步骤。以下是该部分的解读：

1. 方法概述：

过去的工作通常依赖大量的监督数据来提升模型性能，而本文展示了即使没有监督微调（SFT）数据，通过大规模的强化学习（RL）也能显著提升推理能力。
通过这种方法，模型能够自我演化，并通过强化学习学习到推理模式。具体来说，本文介绍了以下三个关键步骤：

DeepSeek-R1-Zero：直接对基础模型应用强化学习（RL），而不使用任何监督微调数据。
DeepSeek-R1：在经过长链思维（Chain-of-Thought，CoT）示例微调的检查点基础上应用RL。
蒸馏：将 DeepSeek-R1 的推理能力蒸馏到较小的稠密模型中。

2. DeepSeek-R1-Zero：基础模型上的强化学习

2.2.1 强化学习算法：

为了节省训练成本，作者采用了 Group Relative Policy Optimization (GRPO) 算法。这种算法避免了使用与策略模型大小相同的评论模型（critic model），而是通过对一组输出结果进行评分来估计基线。
具体来说，GRPO 对每个问题通过从旧的策略模型中抽取一组输出进行优化，并通过最大化预设目标来优化策略模型。

2.2.2 奖励建模：

奖励系统 是强化学习中的核心，决定了优化方向。为了训练 DeepSeek-R1-Zero，作者设计了两种奖励：

准确度奖励（Accuracy rewards）：评估模型的回答是否正确。例如，对于数学题，模型必须以特定格式给出最终答案，以便通过规则验证其正确性。
格式奖励（Format rewards）：强制模型将其思维过程置于 <think> 和 </think> 标签之间，这有助于结构化推理过程并保持格式一致性。

作者没有使用基于神经网络的奖励模型，因为这可能导致奖励作弊（reward hacking），而且重新训练奖励模型会消耗大量计算资源。

2.2.3 训练模板：

在训练 DeepSeek-R1-Zero 时，作者设计了一个简单的模板，要求模型首先生成思维过程，然后给出最终答案。这个模板避免了内容特定的偏见，如强制要求反思性推理或采用特定的解题策略，目的是准确地观察模型在强化学习过程中的自然进展。

2.2.4 性能、自我演化过程与“顿悟时刻”：

DeepSeek-R1-Zero 在 AIME 2024 基准测试中的表现逐步提升，Pass@1 分数从 15.6% 提升到 71.0%，并最终通过多数投票进一步提高到 86.7%，超越了 OpenAI-o1-0912 的表现。
DeepSeek-R1-Zero 展示了在没有监督微调数据的情况下，通过强化学习（RL）获得强大推理能力的能力，这证明了其自我学习和推广的潜力。
强化学习通过增强 DeepSeek-R1-Zero 的推理能力，使其能够有效解决各种复杂问题。此外，通过使用多数投票，模型的推理结果变得更加可靠，进一步提高了其性能。

小结。这一部分介绍了 DeepSeek-R1-Zero 的训练过程，突出了强化学习在提升大语言模型（LLMs）推理能力中的应用。通过采用 GRPO 算法和规则奖励系统，DeepSeek-R1-Zero 在没有监督微调的情况下成功地通过强化学习自我演化，并在多个推理任务上表现出色。这个过程的一个关键突破是，DeepSeek-R1-Zero 不仅通过强化学习提升了推理能力，还能够通过投票进一步增强其性能，标志着推理能力的进一步发展。

解读 DeepSeek-R1-Zero 的自我进化过程

1. 自我进化过程（Self-evolution Process of DeepSeek-R1-Zero）

这一部分展示了 DeepSeek-R1-Zero 如何通过强化学习（RL）自主提高其推理能力，而无需监督微调（SFT）。
由于强化学习直接从基础模型开始，我们可以清晰地观察模型在训练过程中的变化，特别是在处理复杂推理任务方面的进展。

关键发现

模型思考时间的增加：

随着训练的进行，DeepSeek-R1-Zero 在回答问题时的推理时间（即生成的推理步骤长度）逐步增加。
这表明模型在处理推理任务时，会主动延长思考时间，以解决更复杂的问题。
这种增长并不是通过人为调整参数实现的，而是模型在强化学习环境中自主发展的能力。

自发行为的出现：

反思（Reflection）：模型会回顾并重新评估自己的推理步骤，类似于人类在解题时发现错误后进行修正的行为。
探索不同解法：模型会尝试多种方法来解决同一个问题，而不是只遵循固定的套路。
这些行为并不是人为编码的规则，而是模型在强化学习过程中自发涌现的能力，这也是强化学习的强大之处。

2. “顿悟时刻”（Aha Moment of DeepSeek-R1-Zero）

论文提到了训练过程中出现的一个有趣现象，被称为 "Aha Moment"（顿悟时刻）。
在某个训练阶段，DeepSeek-R1-Zero 突然学会了重新审视自己的解题过程，并在必要时调整思维策略。
这一行为类似于人类在解题时，突然意识到之前的思路可能有问题，从而停下来重新思考。

“顿悟时刻”的意义

这种行为表明，强化学习不仅可以提高模型的推理能力，还可以让模型在没有明确指导的情况下，自主发展出更高级的解题策略。
这种能力不是通过硬编码规则实现的，而是模型在强化学习环境中通过试错学习到的，这说明强化学习有助于推动人工智能向更高级的智能水平发展。
研究人员在观察到这个现象时，也感到惊喜，因为这表明强化学习能够引导 AI 发展出意想不到的智能行为。

3. DeepSeek-R1-Zero 的局限性

尽管 DeepSeek-R1-Zero 展示了强大的推理能力，并能够自主发展复杂的思维模式，但它仍然存在一些问题：

可读性差：

由于模型主要关注推理能力，而不是语言表达，最终生成的推理过程可能不够清晰，难以阅读和理解。

语言混合：

由于训练过程中涉及多种语言，DeepSeek-R1-Zero 可能会在推理过程中混合使用不同的语言，使得输出内容难以解析。

4. 解决方案：DeepSeek-R1

为了解决 DeepSeek-R1-Zero 在可读性和语言混合方面的问题，研究团队开发了 DeepSeek-R1。
DeepSeek-R1 结合了强化学习和人类友好的冷启动数据（cold-start data），使得推理过程更加清晰，输出更易阅读，同时减少语言混合的问题。

小结

DeepSeek-R1-Zero 通过强化学习自主提升推理能力，能够在没有监督数据的情况下发展出复杂的推理策略，如反思和多种解题方法。
“顿悟时刻” 证明了 AI 在强化学习的引导下可以产生自发的智能行为，进一步提升了 AI 在推理任务中的表现。
DeepSeek-R1-Zero 的局限性：可读性较差，且在推理过程中可能会混用多种语言，影响理解。
解决方案：DeepSeek-R1 采用更友好的冷启动数据，以提高可读性并减少语言混合问题。

这部分内容突出了强化学习的潜力，以及 AI 在无监督环境下如何通过试错进化出更强的推理能力，同时也展现了强化学习在 AI 研究中的突破性贡献。

这部分内容详细介绍了 DeepSeek-R1 模型的训练方法，特别是通过冷启动数据（cold start）和强化学习（RL）来提升推理能力的过程。以下是该部分的详细解读：

1. DeepSeek-R1: 强化学习与冷启动

1.1 引入冷启动数据的目的

在 DeepSeek-R1-Zero 的基础上，研究者提出了通过引入冷启动数据来加速推理性能的提升。两大关键问题是：

如何通过引入少量高质量数据来加速推理性能的提高或训练收敛的速度？
如何训练一个既能清晰表达推理过程（CoT），又具备强大通用能力的用户友好模型？

为了回答这些问题，作者设计了一个包含四个阶段的训练流程，用于训练 DeepSeek-R1。

1.2 Cold Start - 冷启动

在 DeepSeek-R1 的训练中，冷启动数据的引入起到了关键作用，尤其是在 DeepSeek-R1-Zero 的早期不稳定训练阶段。研究者收集了一些长链思维（CoT）数据，并用这些数据对基础模型进行微调，作为强化学习的初始步骤。
冷启动数据的收集方式：

使用少量示例提示（few-shot prompting）生成长链思维。
直接提示模型生成详细的答案，并加入反思和验证步骤。
从 DeepSeek-R1-Zero 的输出中收集数据，并通过人工后处理优化结果。

冷启动数据的优势：

可读性：相比 DeepSeek-R1-Zero 生成的难以阅读的推理过程，DeepSeek-R1 在生成冷启动数据时，设计了更易读的格式，每个回答结尾都有一个总结部分，并过滤掉不易阅读的内容。
潜力：通过精心设计冷启动数据模式，DeepSeek-R1 在性能上优于 DeepSeek-R1-Zero，证明了这种迭代训练方法的有效性。

1.3 Reasoning-oriented Reinforcement Learning - 推理导向的强化学习

在对基础模型进行冷启动微调后，作者使用与 DeepSeek-R1-Zero 相同的大规模强化学习（RL）训练方法，进一步提升推理能力，尤其在数学、编程、科学和逻辑推理等任务上。
语言混合问题：在强化学习训练过程中，常常出现语言混合的问题，尤其是在多语言提示的情况下。为了解决这个问题，研究者引入了语言一致性奖励，即在推理过程中鼓励模型保持目标语言的一致性。
奖励机制：通过结合推理任务的准确度奖励和语言一致性奖励，模型不断优化，最终达到了在推理任务上的收敛。

1.4 Rejection Sampling 和监督微调

拒绝采样（Rejection Sampling）：当推理导向的强化学习训练收敛后，研究者使用该检查点收集监督微调（SFT）数据，进一步改进模型的表现。

推理数据：通过拒绝采样从 RL 训练的检查点生成推理数据，并对生成的数据进行人工筛选，确保数据的高质量。
非推理数据：包括写作、事实性问答、自我认知和翻译等任务，结合 DeepSeek-V3 的数据进行微调。

1.5 Reinforcement Learning for all Scenarios - 全场景强化学习

为了进一步提高模型对人类偏好的适应性，作者实施了第二阶段的强化学习，旨在优化模型的有用性和无害性，同时继续完善推理能力。

有用性：重点确保模型的回答对用户有实际帮助，评估时仅关注最终总结部分。
无害性：评估整个回答的内容，识别并消除潜在的偏见或有害内容。

2. 蒸馏技术：赋能小模型推理能力

2.1 蒸馏技术

为了让更小的模型具备推理能力，作者采用了蒸馏方法，将 DeepSeek-R1 的推理能力传递给更小的模型。
研究者将 DeepSeek-R1 用来微调开源的模型如 Qwen 和 Llama，并使用约 80 万个训练样本进行蒸馏。实验表明，这种蒸馏方法显著提升了小模型的推理能力。

2.2 蒸馏过程

通过简单的蒸馏方法，小模型如 Qwen 和 Llama 的推理能力得到了极大的增强。虽然作者并未在蒸馏后的模型中使用强化学习（RL），但他们认为这项工作展示了蒸馏技术的有效性，并为未来的强化学习探索留给了广泛的研究社区。

小结。这部分介绍了 DeepSeek-R1 的训练流程，强调了通过引入冷启动数据和强化学习（RL）来提升推理能力的重要性。通过设计冷启动数据，解决了 DeepSeek-R1-Zero 中的可读性问题，并通过强化学习进一步优化模型的推理能力和语言一致性。此外，作者还展示了将 DeepSeek-R1 的推理能力蒸馏到更小模型中的有效性，这一过程证明了蒸馏技术在提升推理能力方面的巨大潜力。

③Experiment：详细介绍了 DeepSeek-R1 和蒸馏后的模型在多个基准测试上的评估方法和实验设置。

1. 基准测试（Benchmarks）

评估任务：作者在多个标准基准测试上评估了模型的表现，涵盖了不同领域的任务，包括推理、编程、数学、问答等。具体的测试基准包括：

MMLU、MMLU-Redux、MMLU-Pro、C-Eval、CMMLU、SimpleQA、AIME 2024、Codeforces 等。
开放式生成任务：如 AlpacaEval 2.0 和 Arena-Hard，这些任务使用 GPT-4-Turbo-1106 作为评估判定者，进行对比分析。

数据集：对于代码和数学相关的基准测试，使用了 HumanEval-Mul 数据集，涵盖了包括 Python、Java、C++、JavaScript 等在内的八种主流编程语言。
评价方法：实验中对不同模型进行了广泛的评估，主要包括推理任务（如数学、编程和科学推理）以及开放生成任务。蒸馏模型的表现也在 AIME 2024、MATH-500、Codeforces 等基准上进行了测试。

2. 评估提示（Evaluation Prompts）

标准基准测试的评估设置：使用了 DeepSeek-V3 中的提示，并结合 simpleevals 框架进行标准基准测试的评估。针对一些特殊的基准（如 MMLU-Redux 和 MMLU-Pr），作者修改了原始的提示格式，使用零样本（zero-shot）设置进行评估。
推理任务的评估：对于推理任务（如数学、编程等），评估使用了基于 Chain-of-Thought（CoT）格式的提示。不同任务根据其特点调整了提示格式，以确保能够准确评估模型的推理能力。

3. 评估设置（Evaluation Setup）

生成长度限制：设置了最大生成长度为 32,768 个标记（tokens），确保模型在生成长文本时不会被截断。
解码方法：为了避免使用贪婪解码（greedy decoding）导致的高重复率和不同检查点之间的显著变化，实验中采用了 pass@k 评估方法。具体来说，使用了非零温度（temperature = 0.6）和top-p 采样（top-p = 0.95）来生成多个（通常是 4 到 64 个）响应，并计算 pass@1 的得分。
结果评估：

Pass@k：对于每个问题，生成多个响应，计算其中正确响应的比例（pass@1），这种方法可以提供更可靠的性能估计。
共识投票（Consensus Voting）：对于 AIME 2024 基准测试，使用 64 个样本进行多数投票（cons@64）计算，从而提高评估的稳定性和可靠性。

4. 基准测试的比较与结果

基准比较：作者与多个强基准模型进行了比较，包括 DeepSeek-V3、Claude-Sonnet-3.5、GT-40-0513、OpenAI-o1-mini、OpenAI-o1-1217 等，展示了 DeepSeek-R1 和蒸馏模型的表现。
蒸馏模型的表现：对于蒸馏模型（如 Qwen 和 Llama），在 AIME 2024、MATH-500、Codeforces 等基准上报告了代表性的结果。

5. 结果的意义

Pass@1 和共识投票：通过使用 pass@1 和 cons@64 评估方法，模型在多个推理任务中的表现得到了更加稳定和可靠的评估。
基准测试的综合评估：通过多种标准的推理基准测试，证明了 DeepSeek-R1 及其蒸馏模型在推理任务中的强大能力，特别是在数学、编程、逻辑推理等任务上表现突出。

小结。这部分描述了 DeepSeek-R1 和蒸馏模型在多个基准测试上的评估过程。通过采用 pass@1 和共识投票等评估方法，确保了模型在复杂推理任务中的表现可靠且稳定。此外，作者还通过与多个强基准模型的比较，验证了 DeepSeek-R1 在推理任务中的优势，并进一步证明了蒸馏技术在提升小模型推理能力方面的有效性。

这部分内容展示了 DeepSeek-R1 模型在多个基准测试中的评估结果，并与其他代表性模型进行了比较。以下是详细解读：

1. DeepSeek-R1 评估结果

1.1 教育相关基准测试（如 MMLU, MMLU-Pro, GPOA Diamond）

DeepSeek-R1 在与 DeepSeek-V3 的比较中，显示出显著的性能提升，尤其是在 STEM（科学、技术、工程和数学） 相关问题上。通过大规模强化学习（RL）训练，模型在这些领域取得了显著的准确性提高。
FRAMES 基准：这是一个长上下文依赖的问答任务，DeepSeek-R1 在此任务中表现出色，展示了其强大的文档分析能力，表明推理模型在 AI 驱动的搜索和数据分析任务中具有潜力。

1.2 事实性基准（如 SimpleQA）

在 SimpleQA 这一基准测试上，DeepSeek-R1 超过了 DeepSeek-V3，证明了其在处理事实性查询方面的能力。类似地，OpenAI的 o1 系列模型在这一基准测试上也优于 GPT-4o。
然而，DeepSeek-R1 在中文版本的 SimpleQA 测试中表现不佳，原因是它在安全强化学习（RL）后倾向于拒绝回答某些查询。没有应用安全 RL 时，DeepSeek-R1 的准确率可以超过 70%。

1.3 IF-Eval 和 AlpacaEval 2.0 等任务

IF-Eval 基准测试衡量了模型执行格式指令的能力，DeepSeek-R1 在此基准上表现优秀。其提升与最终阶段的监督微调（SFT）和强化学习（RL）数据的加入密切相关。
在 AlpacaEval 2.0 和 ArenaHard 等开放领域问题回答任务中，DeepSeek-R1 同样展现了强大的写作能力和开放领域问答能力，远超 DeepSeek-V3，并且其生成的总结文本避免了长度偏差，生成的平均长度为 689 tokens（ArenaHard）和 2,218 characters（AlpacaEval 2.0）。

1.4 数学和编程任务

在数学任务中，DeepSeek-R1 的表现与 OpenAI-o1-1217 相当，显著超过了其他模型。
在编程算法任务上（如 LiveCodeBench 和 Codeforces），推理导向的模型（如 DeepSeek-R1）主导了这些基准测试，证明了推理能力对编程任务的有效支持。
在面向工程的编程任务（如 Aider 和 SWE Verified）中，OpenAI-o1-1217 在 Aider 上表现优于 DeepSeek-R1，但在 SWE Verified 上与 DeepSeek-R1 的表现相当。随着更多相关的强化学习训练数据的加入，预计 DeepSeek-R1 在工程任务中的表现将进一步提升。

2. 蒸馏模型评估

2.1 蒸馏模型的比较

DeepSeek-R1 蒸馏模型（如 DeepSeek-R1-7B, DeepSeek-R1-14B, DeepSeek-R1-32B, 和 DeepSeek-R1-70B）在推理相关的基准测试中表现突出，超越了非推理导向模型（如 GPT-4-0513）以及其他一些强基准模型：

DeepSeek-R1-7B 超过了 GPT-4-0513。
DeepSeek-R1-14B 在所有评估指标上超越了 QwQ-32B-Preview。
DeepSeek-R1-32B 和 DeepSeek-R1-70B 在大多数基准上显著超过了 OpenAI-o1-mini。

2.2 蒸馏与强化学习的结合

研究还发现，将强化学习（RL）应用于蒸馏后的模型，会带来显著的性能提升。尽管目前的实验只展示了简单的 SFT 蒸馏 结果，作者认为这为进一步探索 RL 在蒸馏模型中的应用提供了一个重要的研究方向。
DeepSeek-R1 在多个教育和推理基准上表现出色，特别是在 STEM 领域、长文档分析（FRAMES）和事实性问答（SimpleQA）方面相较于 DeepSeek-V3 提升显著。
在数学、编程和开放领域问题回答任务中，DeepSeek-R1 展现了强大的推理能力，特别是在 LiveCodeBench 和 Codeforces 等编程基准测试中表现突出。
蒸馏技术在小模型中表现出色，DeepSeek-R1 的蒸馏模型超越了许多传统非推理模型，并通过进一步结合强化学习，进一步提升了推理能力。

这表明，通过强化学习的应用和蒸馏技术，DeepSeek-R1 在多任务和多个领域中展示了广泛的适用性和强大的性能。

④Discussion：讨论了 DeepSeek-R1 在开发过程中遇到的一些挑战、尝试的失败方法以及与蒸馏技术和强化学习（RL）之间的对比。以下是详细解读：

1. 蒸馏 vs 强化学习（Distillation vs. Reinforcement Learning）

1.1 蒸馏和强化学习的对比

在 DeepSeek-R1 的开发过程中，作者探索了两种主要的提升模型推理能力的方法：蒸馏（Distillation）和 强化学习（RL）。
通过对 Qwen-32B-Base 进行大规模强化学习训练，作者开发了 DeepSeek-R1-Zero-Qwen-32B，并进行了评估。实验结果表明，虽然强化学习训练的 DeepSeek-R1-Zero-Qwen-32B 在推理基准测试中的表现与 QwQ-32B-Preview 相当，但通过蒸馏得到的 DeepSeek-R1-Distill-Qwen-32B 在所有基准测试中表现更好，远超强化学习训练得到的版本。
结论：

蒸馏较强大的模型到较小模型中能够产生优异的结果，而仅依靠大规模强化学习的小模型需要巨大的计算资源，并且可能无法达到蒸馏方法的效果。
尽管蒸馏策略既经济又有效，但如果要进一步推动智能水平的发展，可能还需要更强大的基础模型和更大规模的强化学习训练。

2. 未成功的尝试（Unsuccessful Attempts）

2.1 过程奖励模型（PRM）

过程奖励模型（PRM） 是一种引导模型解决推理任务的合理方法，通过奖励模型来促进模型的推理过程。然而，实践中存在一些主要限制：

步骤定义困难：很难为一般推理任务明确地定义每个小步骤。
正确性判定困难：判断当前步骤是否正确是一项具有挑战性的任务，尤其是自动注释可能无法得到令人满意的结果，而人工标注又难以扩展。
奖励作弊问题：引入基于模型的奖励模型不可避免地会导致“奖励作弊”（reward hacking），即模型会利用奖励机制本身的漏洞来优化结果，而这需要额外的训练资源，并且会使训练流程更加复杂。
结论：尽管PRM可以帮助重新排序模型生成的前N个响应，或辅助引导搜索，但与在大规模强化学习过程中引入的额外计算开销相比，其优势是有限的。

2.2 蒙特卡洛树搜索（MCTS）

蒙特卡洛树搜索（MCTS） 是受 AlphaGo 和 AlphaZero 启发的方法，目的是通过系统地探索解空间来提升推理能力。
挑战：

与棋类游戏不同，MCTS 在文本生成中的搜索空间大得多，因此在扩展每个节点时会遇到困难，容易导致模型陷入局部最优解。
价值模型的训练难度：在 AlphaGo 中，通过训练价值模型不断提升模型性能，但在 MCTS 的文本生成任务中，训练一个细粒度的价值模型非常困难，这使得模型难以迭代提升性能。
训练过程：通过引导模型生成多个标签来对应每个推理步骤，使用收集的提示进行 MCTS 搜索，然后通过生成的问答对训练模型。
结论：

MCTS 可以在推理时提升性能，尤其是在与预训练的价值模型配对时。然而，要通过自我搜索不断提升模型性能仍然是一个巨大的挑战，尤其是在文本生成任务中的复杂性更高。小结如下：
蒸馏 vs 强化学习：虽然蒸馏在将强大模型的推理能力传递到较小模型中表现非常好，但大规模强化学习仍然需要大量计算资源，且不一定能达到蒸馏的效果。为了进一步推动智能的发展，可能还需要更强的基础模型和更大规模的强化学习。
失败的尝试：

过程奖励模型（PRM） 在实际应用中面临定义困难、正确性判断问题以及奖励作弊等问题，导致其在大规模强化学习中表现不佳。
蒙特卡洛树搜索（MCTS） 尽管在理论上有提升潜力，但在文本生成任务中，由于生成空间庞大、价值模型训练困难，最终在模型性能提升上仍面临挑战。

⑤Conclusion, Limitations, and Future Work（结论、局限性与未来工作）

1. 结论

本研究展示了通过强化学习（RL）增强大语言模型推理能力的过程：

DeepSeek-R1-Zero：这是一种纯粹的 RL 方法，无需冷启动数据，能够在多个任务上实现强大的性能。
DeepSeek-R1：相比于 DeepSeek-R1-Zero，DeepSeek-R1 在利用冷启动数据和迭代的 RL 微调后，表现更为强大，最终在多个任务上达到了与 OpenAI-o1-1217 相当的性能水平。

此外，论文还探索了将推理能力蒸馏到小型稠密模型中：

DeepSeek-R1 作为教师模型生成了 80 万个训练样本，并对多个小型稠密模型进行了微调，结果非常有希望：例如 DeepSeek-R1-Distill-Qwen-1.5B 在数学基准测试上超越了 GPT-4o 和 Claude-3.5-Sonnet，在 AIME 上达到了 28.9%，在 MATH 上达到了 83.9% 的成绩。

这些结果表明，蒸馏技术在小模型中取得了显著的推理能力提升。

2. 局限性

尽管 DeepSeek-R1 取得了令人印象深刻的进展，但仍存在一些局限性：

通用能力不足：目前 DeepSeek-R1 在某些任务上（如函数调用、多轮复杂角色扮演和 JSON 输出等）能力仍不及 DeepSeek-V3。未来计划通过使用长链思维（CoT）来提升这些领域的任务表现。
语言混合问题：DeepSeek-R1 目前对中文和英文进行了优化，但在处理其他语言的查询时可能会出现语言混合的问题。例如，在处理非英语或中文的查询时，推理和回应可能会不自觉地使用英语。未来将致力于解决这一问题。
提示工程问题：在评估 DeepSeek-R1 时，发现模型对提示非常敏感。特别是在使用少量样本提示（few-shot prompting）时，性能会显著下降。因此，建议用户使用零样本设置（zero-shot setting），直接描述问题并明确指定输出格式，以获得最佳效果。
软件工程任务：由于 RL 训练过程中的长时间评估影响了效率，DeepSeek-R1 在软件工程任务中的应用仍然有限。尽管如此，模型在这类基准测试中的表现未能超越 DeepSeek-V3。未来版本将通过实施软件工程数据上的拒绝采样（rejection sampling）或在 RL 过程中的异步评估（asynchronous evaluations）来提高效率，从而解决这一问题。

3. 未来工作

在未来，研究团队计划在以下几个方面进一步改进 DeepSeek-R1：

通用能力提升：探索如何通过长链思维（CoT）来增强 DeepSeek-R1 在复杂角色扮演和其他多轮交互任务中的表现。
解决语言混合问题：提高 DeepSeek-R1 在多语言环境中的稳定性和一致性，避免语言混合的情况。
优化提示工程：进一步研究不同提示（如零样本和少样本设置）对模型表现的影响，并制定优化策略，特别是在用户实际应用时确保其更高的准确性。
增强软件工程任务能力：通过提高 RL 训练的效率，例如应用拒绝采样或异步评估，解决 DeepSeek-R1 在软件工程任务中的限制。

五、总结

DeepSeek-R1 在推理任务中的表现显著提升，尤其是在通过强化学习（RL）和冷启动数据的结合下，其推理能力超越了传统模型。蒸馏技术的成功也证明了较小模型同样可以获得强大的推理能力。
然而，DeepSeek-R1 在一些高级任务（如复杂角色扮演和软件工程任务）上仍有不足，未来研究将集中在提高其通用能力和多语言处理能力。
通过进一步优化 RL 过程，解决现有局限性，DeepSeek-R1 有潜力在更多实际应用中取得更大的突破。

如您需要上述论文PDF文件请联系老虎说芯。

更多「老虎说芯」精彩内容，欢迎点击「https://mp.weixin.qq.com/s/XDOmoe7Fm8pApxZu64y8Gg」阅读原文