文章介绍了DeepSeek团队通过强化学习（RL）训练，使大模型无需监督微调（SFT）就能自发产生思维链（CoT）的创新实践。这一发现颠覆了传统认知，展示了模型通过RL发展高级推理能力的可能性。文章详细阐述了DeepSeek-R1-Zero的实验过程和双阶段训练策略，以及其在效率、成本和能力提升方面的优势，并展望了RL与推理时扩展结合的未来发展方向。

💡 传统认知认为，像OpenAI o1这样的先进模型需要将推理时扩展和强化学习作为独立模块，因为模型被认为无法自发产生复杂思维链。

🚀 DeepSeek-R1-Zero的实验结果打破了这一假设，研究团队仅通过基础模型+RL训练+规则奖励系统，就观察到了模型行为的惊人进化，包括回答长度自然增长，自发出现自我评估行为，以及无需人工标注数据就能产生结构化推理过程。

🛠️ DeepSeek团队设计了两阶段训练方案：首先使用约1000条高质量冷启动数据进行初始SFT，随后进行RL阶段，采用纯规则奖励系统，并利用RL中间产物自动扩展训练数据。

📈 这一技术路径带来了训练效率提升、成本降低和能力涌现的优势。DeepSeek-R1在多项基准测试中表现优异，例如在AIME测试中，通过多数投票策略使准确率从71%提升至86.7%，超越了OpenAI o1的同期版本。

开发｜界面｜引擎｜交付｜副驾——重写全栈法则：AI原生的倍速造应用流

来自全栈程序员 nine 的探索与实践，持续迭代中。

欢迎关注评论私信交流~

在AI领域，大模型的推理能力一直是研究热点。2025年初，DeepSeek团队发布的R1模型带来了一项令人惊讶的发现：仅通过强化学习(RL)训练，无需监督微调(SFT)，就能让大模型自发产生带有反思的思维链(long CoT)。这一发现颠覆了此前行业对模型训练范式的认知。

从OpenAI o1到DeepSeek-R1的认知转变

最初，业界普遍认为像OpenAI o1这样的先进模型需要将推理时扩展(Inference/test-time scaling)和强化学习作为两个独立模块。这种认知源于一个基本假设：模型无法自发产生复杂思维链，必须通过显式引导。

然而，DeepSeek-R1-Zero的实验结果打破了这一假设。研究团队仅通过以下简单设置：

graph LR    A[基础模型] --> B[RL训练]    B --> C[规则奖励系统]    C --> D[准确性奖励]    C --> E[格式奖励]

就观察到了模型行为的惊人进化：

随着训练步数增加，回答长度自然增长在某个训练阶段自发出现自我评估行为无需人工标注数据，就能产生结构化推理过程

DeepSeek-R1的双阶段训练策略

基于Zero的实验发现，DeepSeek团队设计了创新的两阶段训练方案：

graph TD    A[基础模型] --> B[冷启动SFT]    B --> C[第一阶段RL]    C --> D[生成新数据集]    D --> E[第二阶段SFT]    E --> F[第二阶段RL]    F --> G[最终模型]

关键创新点在于：

仅使用约1000条高质量冷启动数据进行初始SFTRL阶段采用纯规则奖励系统，避免奖励黑客问题利用RL中间产物自动扩展训练数据

行业影响与未来展望

这一技术路径显示出几大优势：

训练效率提升：相比传统方法减少了对海量标注数据的依赖成本降低：规则奖励系统比训练神经网络RM更经济能力涌现：证明了模型可以通过RL自发发展出高级推理能力

目前，DeepSeek-R1在多项基准测试中表现优异，特别是在AIME测试中，通过多数投票策略使准确率从71%提升至86.7%，超越了OpenAI o1的同期版本。

这一发现不仅为大模型训练提供了新思路，也引发了关于"模型自发能力涌现"的深层思考。未来，结合RL与推理时扩展的混合方法，可能会成为大模型发展的主流方向。