试想，现在网上的大语言模型（LLM）多得像超市里货架上的薯片，一不小心就挑花了眼。为了帮大家选模型、指导研发，我们需要各种靠谱的「评测基准」（benchmark）。目前流行的评测，比如 MMLU，都是有标准答案的。考题就是死的，答案也清清楚楚，机器答对了就给分，非常简单清晰。

简单的具有标准答案的评测基准引发了两个主要问题。首先，现在的“客观题”答案早就被 LLM 背熟了——如果评测的数据出现在它们训练集中（数据污染，data contamination），就好比考生偷到了高考试卷，那 LLM 在评测基准上就像开了挂一样！而且，具有标准答案的任务并不是现实世界中的常态，很多人类希望 LLM 完成的任务可不是选 A 还是 B 这么简单的，具有标准答案的评测基准限制了测试 LLM 的维度，无法评测 LLM 在多种复杂任务上的能力。

为此，作者们决定，开发一套手段让大模型们去做“主观题”——针对新鲜出炉的内容（比如最新的学术论文）写评审意见，使得过去的 LLM 不可能“背熟”。然而这种「主观性很强」的任务，标准答案往往是不存在的，那么关键问题就是：我们需要新的手段来自动化判断 LLM 的响应质量。

这时候，就有前人工作说了：“让 GPT-4o（或者当下最好的 LLM）当阅卷老师吧！”^[1]这靠谱吗？在大家都不搞小心思的时候是靠谱的，但是很容易被别有用心的 LLM 欺骗。作者发现，在 LLM 写的论文评审意见里加上如下固定废话，GPT-4o 给出的分数居然蹭蹭涨！

图1. 在 LLM 的评审意见中添加废话示意

为此，作者提出了一个新办法，称为 GEM（Generative Estimator for Mutual Information）。

图2. GEM 评分标准的定义

简单理解就是：衡量 LLM 的回答里，有多少有用的信息，可以「更好地猜中」另一个审稿人也会说的点？

为了强调语义覆盖而非语法或风格，作者们对审稿意见预处理成相同的格式。此外，作者还提出了 GEM-S（Generative Estimator for Mutual Information-Synopsis），通过引入任务概要（如论文摘要）来过滤表面信息，增强对关键判断的评估，以此来衡量 LLM 提供了多少「有额外价值」的评论。通过调整任务概要的粒度，可以评估不同层次的信息质量。

图3. 同行评审中的层次信息结构对应不同粒度的GEM评分标准

图4. GEM的工作流程概述

GEM 是否有效，主要看三件事：

跟人类评分的一致性：GEM 分数能不能和人类给的评价对得上？

抗干扰能力：如果故意删掉内容或者只写废话，分数会不会下降？

抗操控能力：如果只是把话说得花里胡哨、字数堆上去，能不能骗高分？

图5. 各评分标准跟人类评价的相关度

图6. 各评分标准针对干扰和操控后的分数变化

有了GEM评测方法，作者们建立了新的公开基准——GRE-bench（Generating Review Evaluation Benchmark），专门用来评测模型写学术论文评审的水平。

因为使用每年新增论文和评审来动态更新评测基准，可以杜绝“题库泄露”。实验显示，Claude3 等模型在 GRE-bench 上的表现，居然和人类评审不相上下，甚至更强！

有趣的是，当调整 GEM-S 的粒度，过滤掉论文作者自述的优缺点（GEM-S（Author-Stated-Strength-Weakness））后，人类评审的分数反而最高——因为人类会跳过重复内容，专注批判性思考。而AI考生往往会兢兢业业复读摘要和引言。（AI：我明明写得更全啊！😭 GEM-S：同学，你这是凑字数……）

图7. GRE-bench 的评测结果

一句话总结这篇论文：没有标准答案？没关系，让信息量说话！

GEM/GEM-S 提供了一种既准确又抗操纵的方式，来评测 LLM 在主观性任务中的输出质量。未来，这种方法可以大大扩展到其他「无法标准化」的任务，比如创意写作、开放式问答、辩论评估等等。

当然，这种方法也存在一些局限，比如：

互信息的估计还是依赖评价模型的预测质量；

需要有「真人产生」的信息来源，否则一堆模型的评审互相套娃，互信息可能也高得吓人但没啥价值。

[1] Benchmarking Foundation Models with Language-Model-as-an-Examiner, 2023, https://arxiv.org/abs/2306.04181

[2] Eliciting Informative Text Evaluations with Large Language Models, 2024, https://arxiv.org/abs/2405.15077

[3] BARTScore: Evaluating Generated Text as Text Generation, 2021, https://arxiv.org/abs/2106.11520

图文 | 陆宇暄

北京大学孔雨晴课题组