关注前沿科技 2025-06-16 12:50 北京
测评项目组负责人还是大模型竞技场顾问
克雷西 发自 凹非寺量子位 | 公众号 QbitAI
推箱子、俄罗斯方块……这些人类的经典怀旧小游戏，也成大模型benchmark了。
o3-pro刚刚也挑战了这两款游戏，而且表现还都不错，直接突破了benchmark上限。
具体来说，benchmark中推箱子一共就只做到了被o3-pro突破的第六关；俄罗斯方块则是强行终止的结果，实际上o3-pro根本停不下来。
如果和前SOTA——o3比较，o3-pro的成绩也是直接翻倍。
还有网友直言，比起大模型竞技场，这套标准才更适合做测试大模型的基准。
经典小游戏成为新Benchmark
o3-pro挑战的这两个游戏，出自一套名为Lmgame的benchmark，顾名思义就是让大模型玩游戏。
o3-pro挑战的推箱子是从1989年的版本修改而来，在o3-pro之前，评估指标是游戏结束之前推动到目标位置的箱子总数。
不过这次o3-pro直接把所有关卡都通了，颇有种“得一百分是因为卷面只有一百分”的感觉。
但也不必担心，测试基准会动态更新，GItHub仓库中半个月前更新的游戏地图还只有四关，原版游戏更是有足足50多个关卡。
而在o3-pro挑战之前，表现最好的是o3，o4-mini紧随其后，再然后是DeepSeek-R1的最新版本（0528）。
俄罗斯方块的得分计算方式则是将放置的方块数量与清除行数的10倍相加，直到游戏结束。
在o3-pro之前，表现最好的模型同样是o3，但后面R1和o4-mini的排名和推箱子相比交换了位置。
不过在时间上，o3-pro的操作相当耗时，每走一步都要花上好几分钟。
另外还有网友认为，如果让大模型编写程序而不是直接挑战，结果可能会更好。
除了o3-pro玩的推箱子和俄罗斯方块，Lmgame中还包括四款游戏——2048、糖果传奇、马里奥兄弟和逆转裁判。
测试过程中通过一种迭代交互循环模式进行，游戏环境会持续地向大模型提供游戏状态，模型根据状态生成动作，这些动作随后在游戏环境中被执行，并根据执行结果计算奖励，接着游戏状态会更新以进行下一轮决策。
同时还引入了智能体框架作为辅助工具，其中包含了感知、记忆、推理等模块；为了确保评估结果的稳定性和可比性，该模式还实施了提示标准化，以减少提示提示词带来的性能波动。
根据游戏的特性和规则，具体到每个游戏的评价方式也有所区别：
超级马里奥兄弟：衡量标准是马里奥在所有关卡中累积的水平移动距离（以游戏单位计算），直到失去所有三条生命或完成最终关卡为止。
2048：评估指标是所有合并方块值的总和，记录直到棋盘停滞（连续十回合没有合并或棋盘变化）为止，取以2为底的对数后乘10即为最终分数。
糖果传奇：评价标准是在固定的 50 回合内消除的糖果总数。
逆转裁判：通过所有案件关卡中正确动作（例如提交证据、选择对话）的总计数来衡量，直到犯下五次错误决策（即生命值用尽）为止。
不过这些游戏表现的衡量标准当中，都没有将时间作为考量因素。
另外这套benchmark是开源的，有兴趣的话也可以自己下载下来对模型进行测试。
还有网友留言说想看宝可梦的结果，团队表示马上安排。
说到宝可梦，Gemini一直在全网直播当中进行挑战，并且在今年5月初成功通关了宝可梦·蓝。
当时谷歌CEO劈柴哥第一时间兴奋官宣，还放出了通关时刻的珍贵影像：
大模型竞技场顾问课题组出品
这个项目来自UCSD的Hao AI Lab，附属于USCD的机器学习系统实验室和NLP实验室，负责人是Halıcıoğlu数据科学研究所的助理教授张昊。
张昊本硕博分别就读于华南理工、上海交大和卡内基梅隆大学，之后到UC伯克利从事博士后研究，结束后加入UCSD。
此外张昊也参与过创立LMSYS，并担任大模型竞技场顾问。
LMSYS是一个非营利组织，大模型竞技场和知名模型框架SGLang、vLLM都是由LMSYS研发的。
说回Hao AI Lab，该实验室创立了多个开源项目，其中GitHub星标数最多的是视频生成加速框架FastVideo，已获得1.5k星。
Hao AI Lab还接受谷歌和英伟达的资助，今年4月英伟达给该实验室捐赠了一台DGX B200。
参考链接：https://x.com/haoailab/status/1933614723507106226项目仓库：https://github.com/lmgame-org/GamingAgent榜单：https://huggingface.co/spaces/lmgame/lmgame_bench论文：https://arxiv.org/abs/2505.15146
— 完 —
