OpenAI 的 PaperBench：AI 研究复现基准测试工具

简介

OpenAI 的 PaperBench 是一个用于评估 AI 模型复现前沿 AI 研究能力的工具。它要求 AI 从零开始复现 2024 年国际机器学习大会（ICML）上的重要论文，涵盖理解论文贡献、开发代码库以及成功执行实验等环节。

主要特点

任务模块

任务分解：PaperBench 将每篇论文的复现过程分解为 8316 个具体任务，以确保评估的准确性和细致性。评分标准：每个任务都有详细的评分标准，确保评估结果的可靠性。

评分系统

自动评分：引入了基于大型语言模型的自动评分系统，以提高评分效率和可扩展性。人机对比：通过与人类专家的评分结果进行比较来验证自动评分系统的准确性。

规则模块

公平性：确保评估过程的公平性，规定智能体在执行任务时可以使用的资源。限制：允许浏览互联网，但禁止使用论文作者的原始代码库或其他在线复制资源。

轻量级评估变体

PaperBench Code-Dev：一种降低评估门槛的变体，适合更广泛的社区使用，通过跳过代码执行步骤，仅评估代码开发能力。

测试结果

表现最好的模型：Claude 3.5 Sonnet 是表现最好的智能体，平均复现分数达到 21.0%。与人类基线比较：即使是最好的 AI 模型也未能超越人类基线。

开源与社区参与

开源代码：OpenAI 已将 PaperBench 的代码公开，鼓励进一步研究 AI 代理的工程能力。社区参与：促进对如何有效利用 AI 进行 AI 研究复现和开发的理解。

示例代码

虽然 PaperBench 本身的代码是开源的，但我们可以通过一个简单的 Python 例子来理解如何评估 AI 模型的代码开发能力。以下是一个基本的代码评估框架示例：

import osdef evaluate_code_development(task_id, code_path):        task_description = read_task_description(task_id)            score = assess_code_against_task(task_description, code_path)        return scoredef read_task_description(task_id):            return "实现一个简单的线性回归模型"def assess_code_against_task(task_description, code_path):            return 0.8task_id = "example_task"code_path = "path/to/example_code.py"score = evaluate_code_development(task_id, code_path)print(f"任务 {task_id} 的评分：{score}")

这个示例展示了如何定义一个基本的代码评估框架，包括读取任务描述和评估代码是否满足任务要求。实际的 PaperBench 会涉及更复杂的评分系统和任务管理逻辑。