本文聚焦于提升通用奖励模型在推理时的可扩展性，以增强大语言模型性能。研究提出SPCT方法并构建DeepSeek-GRM模型，在多项基准测试中超越现有模型。研究探讨了奖励建模在强化学习中的关键作用，尤其是在开放大语言模型任务中的通用性和推理时扩展性挑战。研究成果有望推动未来大模型强化学习系统的发展，助力基础模型的质量评估与优化。报告由清华大学刘子君博士一年级学生主讲。

💡 强化学习作为后训练方法，能够显著提升大型模型的性能。奖励建模是强化学习的核心，为模型提供准确的奖励信号。

🎯 传统奖励建模方法依赖人工构建规则或标准答案，在大语言模型任务中面临通用性挑战，需要灵活应对不同输入。

🚀 本文重点研究通用奖励模型在推理时扩展性（Inference-Time Scalability），即通过增加推理时计算资源来提升奖励信号质量。

✨ 本文提出SPCT方法，并构建DeepSeek-GRM通用奖励模型系列，在多个基准测试中超越现有主流奖励模型，性能表现出更强的可扩展性。

🌟 通用奖励模型有望成为未来大模型强化学习系统中的核心模块，助力基础模型的质量评估与优化。