金色传说大聪明 2025-02-07 10:04 广东

日前，DeepSeek 官方，发布了技术报告：《R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》。非常真诚的披露了 DeepSeek R1 的各种训练细节、经验和弯路。

【本推送次条，有该报告详细解读】

【回复 DSR1，获取原始报告】

在报告的最后，DeepSeek 团队也探讨了 R1 模型的局限性，并提出了未来的研究方向：　

局限性：　

通用能力：R1 的通用能力（例如函数调用、多轮对话、复杂角色扮演和 json 输出）仍落后于 DeepSeek-V3。

语言混杂：R1 在处理非中英文问题时，可能会出现语言混杂现象。

提示词工程：R1 对提示词较为敏感，使用 few-shot 提示可能会降低其性能。

软件工程任务：由于 RL 训练的评估周期较长，R1 在软件工程任务上的性能提升有限。

未来工作：　

探索如何利用长 CoT 提升 R1 在通用能力上的表现。

解决 R1 的语言混杂问题。

优化 R1 的提示词策略。

将 RL 应用于软件工程任务，提升 R1 在该领域的性能。

继续探索更有效的强化学习算法和奖励机制，进一步提升模型的推理能力。

研究如何将 R1 的推理能力更好地应用于实际场景，例如科学研究、代码生成、药物研发等。

额外的

DeepSeek 团队在研究过程中也尝试了一些其他方法，但并未取得理想的效果，例如：　

Process Reward Model （PRM）: PRM 的构建和训练都存在较大挑战，且容易导致奖励“hack”。

Monte Carlo Tree Search （MCTS）: MCTS 在 token 生成任务中面临搜索空间过大的问题，且 value model 的训练较为困难。