本报告探讨了通用奖励模型在提升大型语言模型（LLM）性能方面的潜力。报告指出，强化学习作为后训练方法，通过奖励建模为模型提供准确的奖励信号。然而，传统奖励建模方法在处理开放式任务时面临挑战。本文重点研究了通用奖励模型在推理时的可扩展性，提出了一种名为SPCT的方法，并构建了DeepSeek-GRM通用奖励模型系列。实验结果表明，DeepSeek-GRM在多个基准测试中优于现有模型，并在推理阶段展现出更强的可扩展性，有望成为未来大模型强化学习系统的核心模块。

💡 强化学习在提升大型模型性能方面具有重要作用，而奖励建模是强化学习的核心。

⚠️ 传统奖励建模方法依赖人工规则或标准答案，难以适应开放式大语言模型任务。

🚀 本文重点研究了通用奖励模型在推理时的可扩展性，即通过增加计算资源来提升奖励信号质量。

✨ 研究提出SPCT方法，并构建了DeepSeek-GRM通用奖励模型系列，在多个基准测试中表现优异。

🎯 DeepSeek-GRM在推理阶段展现出更强的可扩展性，有望成为未来大模型强化学习系统的核心模块。