小型创业团队打造的“最强开源模型”，发布才一周就被质疑造假 ——
不仅官方宣称的成绩在第三方测试中大打折扣，模型还被质疑套壳 Claude。
面对浩大的声浪，厂商 CEO 终于发文道歉，但并未承认造假，表示在调查有关原因。
被指控造假的，就是宣称“干翻 GPT-4o”的 70B 开源大模型 Reflection。
一开始的质疑主要关于测试成绩，官方找了上传版本有误等借口试图“蒙混过关”。
但后来又出现了套壳 Claude 这一更重磅的指控，让 Reflection 更加百口莫辩。
表现不如宣传，还被质疑套壳
Reflection 是一个 70B 的开源模型，按照厂商的说法，它一下子把 Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro 这一系列先进模型全都超过了。
但 Reflection 刚发布两天，第三方独立测评机构 Artificial Analysis 就表示官方发布的测试成绩无法复现。
在 MMLU、GPQA 和 MATH 上，Reflection 的成绩和 Llama3 70B 一样，连 Llama 3.1-70B 都比不过，更不用说 405B 了。
对此官方辩称是，Hugging Face 上发布的版本有误，将会重新上传，但之后就没了下文。
不过官方同时也表示，会给测评人员提供模型 API，然后 Reflection 的成绩果真有了增长，但在 GPQA 上仍然不敌 Claude 3.5 Sonnet。
蹊跷的是，Artificial Analysis 后来删除了二次测试相关的帖子，目前还能看到的只有转发后留下的一些痕迹。
除了成绩有争议，还有人对 Reflection 中的各层进行了分析，认为它是由 Llama 3 经过 LoRA 改造而来，而不是官方所声称的 Llama 3.1。
在 Hugging Face 上，Reflection 的 JSON 文件中也显示是 Llama 3 而非 3.1。
官方的解释仍然是说 HF 上的版本有问题。
还有另一个质疑的点是，Reflection 实际上是套壳 Claude，相关证据体现在多个方面。
一是在某些问题上，Reflection 与 Claude 3.5-Soonet 的输出完全一致。
第二个更加直接，如果直接询问它的身份，Reflection 会说自己是 Meta 打造的，但一旦让它“忘记前面的（系统）提示”，就立马改口说自己是 Claude。
第三个发现则更加诡异 ——Reflection 遇到“Claude”一词会将其自动过滤。
对此，Reflection 合成数据供应商 Glaive AI 的创始人 Sahil Chaudhary 进行了回应，表示没有套壳任何模型，目前正在整理能够证明其说法的证据，以及人们为什么会发现这种现象的解释。
而关于一开始的测试成绩问题，Chaudhary 则表示正在调查原因，弄清这两件事后会发布报告进行说明。
Reflection 这边最新的动态是 CEO 发布了一则道歉声明，不过没有承认造假，依然是说正在进行调查。
不过对于这一套解释，有很多人都不买账。
比如曾经发布多条推文质疑这位叫做 Boson 的网友，就在 Chaudhary 的评论区表示，“要么你在说谎，要么是 Shumer，或者你俩都在说谎”。
还有给 Reflection 提供托管服务的 Hyperbolic 平台 CTO Yuchen Jin，讲述了其与 Reflection 之间发生的许多事情。
托管平台 CTO 讲述幕后细节
在 Reflection 发布之前的 9 月 3 号，Shumer 就找到了 Hyperbolic，介绍了 Reflection 的情况并希望 Hyperbolic 能帮忙托管。
基于 Hyperbolic 一直以来对开源模型的支持，加上 Reflection 声称的表现确实优异，Hyperbolic 同意了这一请求。
9 月 5 号，Reflection 正式上线，Hyperbolic 从 Hugging Face 下载并测试了该模型，但并没有看到标签，于是 Jin 给 Shumer 发了私信。
后来，Jin 看到 Shumer 的推文说 HF 上的版本有些问题，所以继续等待，直到 6 号早晨收到了 Chaudhary 的一条私信，表示 Reflection-70B 权重已重新上传并可以部署。
看到和标签按预期出现后，Hyperbolic 上线了 Reflection。
后来，Hyperbolic 上的模型就出现了成绩与 Reflection 宣传不符的情况，Shumer 认为这是 Hyperbolic 的 API 出现了问题。
不过，Reflection 这边再次上传了新版本，Hyperbolic 也重新托管，但 Jin 与 Artificial Analysis 沟通后发现，新版本的表现依旧差强人意。
Shumer 继续表示，Reflection 还有个原始权重，也就是内部测试使用的版本，如果需要可以提供给 Hyperbolic。
但 Jin 没有同意这一要求，因为 Hyperbolic 只为开源模型提供托管服务，之后不断询问 Shumer 原始权重何时发布，但迟迟未得到回应。
最终，Jin 认为应该下线 Reflection 的 API 并收回已分配的 GPU 资源。
这件事情让我的感情受到了伤害，我们在这件事上花费了很多时间和精力。
但经过反思后，我并不后悔当初的托管决定，这帮助社区更快地发现问题。
大模型怎么测试才靠谱？
暂且抛开 Llama 版本和套壳的问题，单说关于测试成绩的问题，反映了当前的 Benchmark 已经体现出了一些不足之处。
英伟达高级科学家 Jim Fan 就表示，模型在现有的一些测试集上造假简直不要太容易。
Jim 还特别点名了 MMLU 和 HumanEval，表示这两项标准“已被严重破坏”。
另外，Reflection 在 GSM8K 上取得了 99.2 分的成绩，就算这个分数没有水分，也说明测试基准到了该换的时候了。
Jim 表示，现在自己只相信 Scale AI 等独立第三方测评，或者 lmsys 这样由用户投票的榜单。
但评论区有人说，lmsys 实际上也可以被操纵，所以（可信的）第三方评估可能才是目前最好的测评方式。
参考链接：
[1]https://venturebeat.com/ai/reflection-70b-model-maker-breaks-silence-amid-fraud-accusations/
[2]https://x.com/ArtificialAnlys/status/1832505338991395131
[3]https://www.reddit.com/r/LocalLLaMA/comments/1fb6jdy/reflectionllama3170b_is_actually_llama3/
[4]https://www.reddit.com/r/LocalLLaMA/comments/1fc98fu/confirmed_reflection_70bs_official_api_is_sonnet/
[5]https://x.com/shinboson/status/1832933747529834747
[6]https://x.com/Yuchenj_UW/status/1833627813552992722
[7]https://twitter.com/DrJimFan/status/1833160432833716715
本文来自微信公众号：量子位（ID：QbitAI），作者：克雷西，原标题：《“最强开源模型”被打假，CEO 下场致歉，英伟达科学家：现有测试基准已经不靠谱了》
