AI 真会编程还是只会“背题” | Code Bench 专场直播带你洞悉代码能力的真实象限

魔搭ModelScope社区 07月08日 14:15

AI编程助手正成为开发者的重要伙伴，但其真实代码实力如何衡量成为核心问题。现有基准测试面临数据污染、测试用例不足等挑战，导致模型排行榜可能存在虚假繁荣。为了揭示真相，由多个社区发起的AI Insight Talk特别策划了Code Bench专场直播活动，邀请多位专家分享前沿洞见，探索如何构建更强大、更公平的代码能力评测体系。活动将涉及CPRet、DyCodeEval、OSS-Bench、UTBoost等前沿评测基准，深入探讨如何应对数据污染、测试用例不足等问题，为构建更可靠的AI编程评测体系提供思路。

📊 CPRet评测基准揭示了相似问题会显著夸大模型通过率，为构建更公平的编程能力评测敲响了警钟。

🔄 DyCodeEval基准套件通过动态生成变体问题，有效抵御数据污染带来的评估偏差，为模型真实能力的透明评估提供了可靠方案。

💻 OSS-Bench基准生成器从真实开源项目中自动构建大规模、实时评测任务，有效避免了静态数据集的过拟合问题，并揭示了LLM在底层代码安全方面的短板。

🔍 UTBoost通过引入LLM驱动的测试用例生成器，自动增强测试套件，识别出错误代码补丁，大幅提升了Benchmark的评估严谨性。

🗣️ 圆桌讨论环节将聚焦模型Code能力发展趋势，邀请嘉宾深入互动，带来最前沿的洞见。

AI Insight Talk 2025-07-02 20:03 浙江

AI 编程助手已成为开发者不可或缺的伙伴，但一个核心问题也随之而来：我们该如何衡量它们真正的代码实力？现有

AI 编程助手已成为开发者不可或缺的伙伴，但一个核心问题也随之而来：我们该如何衡量它们真正的代码实力？现有 Benchmark（基准测试）正面临严峻挑战——数据污染、测试用例不足等问题频出，导致模型排行榜可能只是“虚假繁荣”的幻象。

模型是真的“会”编程，还是仅仅“背”熟了考题？为了揭开真相，由 OpenMMLab、司南评测体系、Hugging Face、ModelScope、知乎、MlNLP 、模速空间和机智流等社区发起的 AI Insight Talk 特别策划了本周四 19:30——21:30 的 Code Bench 专场直播活动！

我们荣幸地邀请到了 HF Papers 的 4 位 Code Bench 论文作者，他们将直击行业痛点，分享前沿洞见，与你一同探索如何构建更强大、更公平的代码能力评测体系！

分享嘉宾及主题介绍

No.1

CPRet：模型是“背题”还是真懂算法？揭示相似问题下的性能“通胀”

邓晗

香港中文大学 MMLab 零年级博士生，本科毕业于清华大学信息与计算科学专业，同时为上海人工智能实验室实习生，主要研究方向为大语言模型在科学领域的应用。中学及本科期间积极参与编程竞赛（如 NOI、ICPC），并获得多项奖项。

简要概述

CPRet 针对编程竞赛基准中重复或高度相似问题日益增多的问题，构建了一个全新的检索式评测基准 CPRet。它不仅提供了高质量的训练数据和测试集，还开发了专用检索模型，并首次通过分析揭示了问题相似性会显著“夸大”模型通过率，为构建更公平的编程能力评测敲响了警钟。

论文地址

https://huggingface.co/papers/2505.12925

https://www.modelscope.cn/papers/2505.12925

Compass Hub

https://hub.opencompass.org.cn/dataset-detail/CPRet

No.2

DyCodeEval：动态“换皮”编程题，破解数据污染下的模型“高分幻觉”

陈思敏

现为哥伦比亚大学计算机科学系博士后研究员，2024 年 8 月于德克萨斯大学达拉斯分校（UTD）获得博士学位。他的研究方向聚焦于软件工程与机器学习的交叉，致力于提升机器学习系统的可信性与效率 (SE4AI)，并推动机器学习在实际软件工程场景中的应用落地 (AI4SE)。为实现这一目标，他提出了涵盖机器学习全流程的系统性解决方案，协同推进模型算法（ESEC/FSE 2020、ASE 2022、CVPR 2022、ESEC/FSE 2022、ACL 2023、FSE 2024(b)、Usenix Security 2025）、系统软件栈（ISSTA 2023、IJCAI 2022）与数据集（CVPR 2023、FSE 2024(a)、ICML 2025）的创新研究。基于这些研成果，他的博士论文荣获 2024 年度 David Daniel Thesis Award。

简要概述

DyCodeEval 是一套在数据污染背景下动态评测代码大模型推理能力的新型基准套件。该方法借鉴“蜕变测试”思想，利用多智能体自动生成与原题核心逻辑相同但描述迥异的变体问题。实验证明，DyCodeEval 能有效抵御数据污染带来的评估偏差，为模型真实能力的透明评估提供了可靠方案。

论文地址

https://huggingface.co/papers/2503.04149

https://www.modelscope.cn/papers/2503.04149

Compass Hub

https://hub.opencompass.org.cn/dataset-detail/DyCodeEval

No.3

OSS-Bench：告别静态数据集！从真实开源项目中“活捉”高难度编程任务

蒋元丞

新加坡国立大学计算机学院的博士生，由梁振凯教授和 Roland Yap 教授共同指导，研究方向为系统安全。他与 Manuel Rigger 教授合作进行模糊测试研究。在攻读博士学位之前，他于新加坡国立大学获得硕士学位，并于复旦大学获得学士学位。

简要概述

OSS-Bench 一个能够从真实世界的开源软件中自动构建大规模、实时评测任务的基准生成器。该工作通过让 LLM 直接修改 PHP、SQLite 等复杂项目的核心函数，并利用编译、测试、内存安全三大自然指标进行评估，有效避免了静态数据集的过拟合问题，并深入揭示了 LLM 在底层代码安全方面的短板。

论文地址

https://oss-bench.github.io/

Compass Hub

https://hub.opencompass.org.cn/dataset-detail/OSS-Bench

No.4

UTBoost：修复“漏风”的 SWE-Bench，揪出 345 个“假通过”补丁

余博西

香港中文大学（深圳）数据科学学院的博士生，指导老师为贺品嘉教授，研究方向为 Coding Agent 和Automated Testing。他的研究方向致力于通过智能化测试来提高软件质量和软件自动化评估能力。

简要概述

UTBoost 旨在解决广泛使用的代码生成基准 SWE-Bench 测试用例不足的挑战。通过引入 LLM 驱动的测试用例生成器 UTGenerator，UTBoost 能够自动增强测试套件，从而识别出那些看似通过测试但并未真正解决问题的错误代码补丁，大幅提升了 Benchmark 的评估严谨性，并修正了 40.9% 的 SWE-Bench Lite 榜单和 24.4% 的 SWE-Bench Verified 榜单。

论文地址

https://arxiv.org/abs/2506.09289

https://www.modelscope.cn/papers/2506.09289

Compass Hub

https://hub.opencompass.org.cn/dataset-detail/UTBoost

No.5

圆桌讨论环节

讨论主题：模型 Code 能力发展趋势

欢迎在公众号评论区留下您对本场 Code Bench 直播分享的疑问或期待，直播当天，主持人将精选问题与嘉宾深入互动，带来最前沿的洞见！

参与方式

观看直播

参与讨论

同时为了方便大家交流沟通，我们建立了相关的交流群，本期分享的大佬也在群里哦，可与大佬进行面对面沟通，扫码即可入群~

期待与您相约 7 月 3 日（周四）晚 19:30 的 AI Insight Talk：Hugging Face Papers Live Code Bench 专场，一起探索前沿科技，共享 AI 盛宴！

👇点击关注ModelScope公众号获取
更多技术信息~

阅读原文

跳转微信打开

Fish AI Reader

AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。

FishAI

鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑

Fish AI Reader

FishAI

联系邮箱 441953276@qq.com

相关标签