月之暗面推出Kimi-Dev-72B,一款针对软件工程任务的开源代码大模型。该模型在SWE-bench Verified编程基准测试中表现出色,超越了参数量更大的DeepSeek-R1,展现了其强大的性能。Kimi-Dev-72B通过大规模强化学习优化,能够自主修补Docker中的真实存储库,确保解决方案的准确性。该模型的设计结合了BugFixer和TestWriter,并通过中期训练、强化学习和测试时自我博弈等技术,提升了其在代码修复和测试方面的能力,目前已在Hugging Face和GitHub上开源。
💡 Kimi-Dev-72B在SWE-bench Verified编程基准测试中,以72B参数量超越了671B参数量的DeepSeek-R1,证明了其卓越的性能。
🛠️ Kimi-Dev-72B通过大规模强化学习进行优化,能够自主修补Docker中的真实存储库,只有当整个测试套件通过时才会获得奖励,从而保证了解决方案的正确性。
⚙️ 该模型的设计采用了BugFixer和TestWriter的互补设计,使其在修复错误和编写测试方面表现出色。
📚 中期训练使用了约1500亿个高质量的真实数据,增强了模型对实际Bug修复和单元测试的理解。
🚀 强化学习阶段专注于提升其代码编辑能力,使其在文件本地化和代码编辑方面表现出色。
快科技6月17日消息,月之暗面推出了针对软件工程任务的全新开源代码大模型——Kimi-Dev-72B。
该模型在SWE-bench Verified编程基准测试中取得了全球最高开源模型水平,以仅72B的参数量,超越了刚发布不就、参数量达671B的新版DeepSeek-R1。

该模型通过大规模强化学习进行优化,能够自主修补Docker中的真实存储库,并且只有当整个测试套件通过时才会获得奖励,从而确保了解决方案的正确性和稳健性。
Kimi-Dev-72B的设计理念和技术细节包括BugFixer和TestWriter的组合、中期训练、强化学习和测试时自我博弈。

其中,BugFixer和TestWriter的互补设计奠定了模型的基础,使其在修复错误和编写测试方面表现出色。
中期训练则通过约1500亿个高质量的真实数据,增强了模型对实际Bug修复和单元测试的理解。
强化学习阶段则专注于提升其代码编辑能力,使其在文件本地化和代码编辑方面表现出色。
目前,Kimi-Dev-72B已在Hugging Face和GitHub上提供下载和部署,包括模型权重、源代码等。
