index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html
![]()
为解决现有语言模型基准测试中普遍存在的数据污染问题，微软亚洲研究院推出了MMLU-CF。该基准测试集通过引入三条去污染规则，并对测试集进行闭源处理，旨在更公平、准确地评估大语言模型在14个学科领域的理解能力。MMLU-CF包含20,000道题目，验证集公开以保证透明度，测试集闭源以防数据泄露。实验结果显示，MMLU-CF能够有效揭示模型在实际应用中的表现，并对现有模型排名产生显著影响，尤其对规模较小的模型更具挑战性，有助于推动大语言模型研究的深入发展。
🎯 **无污染的公平评估基准**：MMLU-CF旨在解决现有大语言模型基准测试中数据污染的问题，通过实施三条去污染规则（改写问题、打乱选项、随机替换选项）来减少模型对已见数据的依赖，确保评估结果的公平性和可靠性。
🔒 **闭源测试集保障数据安全**：为了防止数据泄露和恶意使用，MMLU-CF将测试集设置为闭源，同时公开验证集以供透明验证。这种设计确保了模型评估的公正性，避免了因数据泄露导致的不公正结果。
📊 **严格的测试揭示模型真实能力**：MMLU-CF包含20,000道题目，涵盖14个学科，其严格的测试环境使得模型在MMLU-CF上的得分普遍低于在MMLU上的得分，例如OpenAI o1的得分从92.3%降至80.3%，这更真实地反映了模型在未见过数据上的泛化能力。
⚖️ **重塑模型性能排名**：MMLU-CF的引入扰乱了现有大语言模型在MMLU基准上的性能排名，特别是规模较小的模型受到的影响更大。平均而言，排名下降的模型下降幅度大于上升模型，这可能归因于预训练语料库中的数据污染。
🛠️ **严谨的数据构建流程**：MMLU-CF的数据构建过程包括题目收集、题目清洗、难度采样、大模型检查和去污染处理等多个环节，确保了数据集的高质量和安全性，为大模型评估提供了坚实的基础。
【新智元导读】MMLU-CF是一个无污染的多任务语言理解基准测试，旨在更公平、准确地评估大语言模型的能力。通过去污染规则和闭源测试集防止数据泄露，确保评估结果可靠。该基准包含20,000道题目，涵盖14个学科，验证集公开透明，测试集闭源防泄露。近年来，随着大语言模型（LLM）的不断进步，如何准确评估其能力已经成为研究的热点问题。诸如大规模多任务语言理解基准MMLU（Massive Multitask Language Understanding），在评估大语言模型中起到重要作用。然而，由于开放源代码和训练数据的多样性，现有基准测试难免存在数据污染问题，影响评估结果的可靠性。为了提供更为准确、公平的评估，微软亚洲研究院推出了MMLU-CF，它是基于公开数据源，经过去污染设计的大语言模型理解基准，并已在Huggingface上开放。MMLU-CF是一个「无污染」的、更具挑战性的多项选择题基准数据集。论文链接：https://arxiv.org/pdf/2412.15194代码链接：https://github.com/microsoft/MMLU-CF数据连接：https://huggingface.co/datasets/microsoft/MMLU-CF数据集包含20,000道题目，分为10,000道验证集题目和10,000道测试集题目，其中验证集开源，测试集闭源，涵盖健康、数学、物理、商业、化学、哲学、法律、工程等14个学科领域。MMLU-CF为大语言模型的评估提供了一个更加公平和可靠的基准，不仅帮助研究者准确理解模型的能力，也为未来模型优化提供了宝贵的数据支持。
MMLU-CF的贡献消除数据污染传统基准测试可能存在数据污染，影响评估的公正性。MMLU-CF通过引入三条去污染规则并扩展数据源，确保测试结果更可靠。防止恶意数据泄露研究人员将数据集分为验证集和测试集，确保测试集保持闭源，避免数据泄漏引发的不公正结果。同时，验证集开源以促进透明度，便于独立验证。对比结果评估结果显示，OpenAI o1在MMLU-CF测试集上的5-shot得分为80.3%，显著低于其在MMLU上取得的92.3%得分，表明了MMLU-CF基准的严格性。图1 主流大模型在MMLU-CF的测试集的5-shot得分表现基准对比MMLU与MMLU-Pro基准测试主要关注任务的广度、推理能力和难度，但未考虑数据污染问题。对于MMLU-CF，研究人员在数据收集时应用了去污染规则，确保避免数据泄露，同时将测试集保持闭源，防止恶意泄露。以下是几款主流模型在MMLU与MMLU-CF数据集上的表现与排名变化：图2 主流大模型在MMLU-CF和MMLU上的表现与排名新的基准MMLU-CF扰乱了已评估的语言模型（LM）在MMLU上的性能排名。排名前三的语言模型：OpenAI o1、Deepseek-R1和Deepseek-V3 ，保持了领先地位，排名没有任何变化。有趣的是，在显著的排名变化（>=3位）中，排名下降的往往比上升的更为显著。平均而言，排名下降的语言模型下降了5.14位次，而排名上升的语言模型上升了3.78位次。这种不对称性表明，性能大幅下降比上升更容易，这可能是由于预训练语料库中的数据污染造成的。与规模较大的语言模型相比，规模较小的语言模型在新的MMLU-CF基准测试中似乎更具破坏性。测试集与验证集的划分在MMLU-CF中，研究人员将数据集划分为测试集和验证集，并通过计算「绝对分数差异」评估模型的泛化能力。统计结果显示，约60%的差异值小于0.5，96%的差异值低于1.0，表明测试集和验证集的评估结果高度一致。
图3 数据构建流程图MMLU-CF的数据构建包括以下几个步骤：1. 题目收集：从广泛的开放互联网域收集问题，保证问题的多样性。2. 题目清洗：确保收集到的问题质量高，适合用于评估。3. 难度采样：确保问题的难度分布合理。4. 大模型检查：使用GPT-4o、Gemini、Claude模型对数据的准确性和安全性进行检查。5. 去污染处理：通过去污染处理，确保数据集的无污染性。最终，MMLU-CF数据集分别包含了10,000道测试集域验证集题目，同时测试集保持闭源，验证集则公开以保证透明性。去污染处理规则
为了避免无意中的污染并评估模型的推理和理解能力，研究人员采用了三条去污染规则：• 规则1：改写问题，减少模型对已见数据的依赖。• 规则2：打乱选项，避免模型通过记忆选项顺序做出正确答案。• 规则3：随机替换选项，增加模型的推理难度。图4 去污染示例这些规则有效减少了恶意和无意的泄漏风险，确保了数据集的「无污染」性。https://arxiv.org/pdf/2412.15194 文章原文
