“DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning”一文提出通过强化学习提升大语言模型推理能力的方法，介绍了DeepSeek-R1-Zero和DeepSeek-R1模型，探索模型蒸馏并进行多任务评估，为大语言模型推理能力的研究提供了新思路。

1. 研究背景与贡献：大语言模型（LLMs）发展迅速，后训练成为提升模型性能的重要环节。研究旨在探索通过纯强化学习提升语言模型推理能力，直接对基础模型应用强化学习训练出DeepSeek-R1-Zero，开创了不依赖监督微调提升推理能力的先河。提出DeepSeek-R1的训练流程，结合强化学习和监督微调，使其性能与OpenAI-o1-1217相当。发现大模型的推理模式可蒸馏到小模型，开源多个蒸馏后的小模型，推动研究发展。

2. 研究方法

DeepSeek-R1-Zero：采用Group Relative Policy Optimization（GRPO）算法减少训练成本，基于规则的奖励模型包括准确性奖励和格式奖励。设计简单训练模板引导模型按要求输出。训练中模型性能逐步提升，在AIME 2024基准测试中，pass@1分数从15.6%提升到71.0% ，还出现自我验证、反思等推理行为，但存在可读性差和语言混合问题。

DeepSeek-R1：收集少量长思维链（CoT）数据微调基础模型作为冷启动，之后进行推理导向的强化学习，并引入语言一致性奖励解决语言混合问题。通过拒绝采样收集监督微调数据，涵盖推理和非推理领域，再进行全场景强化学习，提升模型的实用性和无害性。

模型蒸馏：用DeepSeek-R1生成的800k样本微调Qwen和Llama等开源模型，赋予小模型推理能力。实验显示蒸馏后的小模型在多个基准测试中表现出色，如DeepSeek-R1-Distill-Qwen-7B在AIME 2024上得分55.5%，超过QwQ-32B-Preview。

3. 实验评估：在多个基准测试中评估模型，包括知识、推理、编码和生成任务等，对比DeepSeek-V3、Claude-Sonnet-3.5-1022等基线模型。结果表明，DeepSeek-R1在多数任务上优于DeepSeek-V3，在数学任务上与OpenAI-o1-1217相当，在编码算法任务上表现突出。蒸馏后的小模型也取得优异成绩，超过部分基线模型。

4. 讨论与结论：蒸馏策略将大模型知识转移到小模型效果显著，比小模型直接进行强化学习更高效，但要突破智能边界仍需强大基础模型和大规模强化学习。过程奖励模型（PRM）和蒙特卡洛树搜索（MCTS）在实验中存在局限性，如PRM难以定义推理步骤、易出现奖励作弊，MCTS搜索空间大、价值模型训练困难。研究通过强化学习提升了模型推理能力，未来将从提升通用能力、解决语言混合、优化提示工程和改进软件工程任务性能等方向继续研究。

免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有，通过公开合法渠道获得，如涉及侵权，请及时联系我们删除，如对报告内容存疑，请与撰写、发布机构联系