index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html
![]()
Kaggle 上的第一届 AI 数学奥林匹克竞赛结果公布,Numina 团队的模型在 50 道题中答对了 29 道,取得了第一名。比赛旨在提升 AI 模型的数学推理能力,吸引了 1401 个参与者和 1161 个团队。比赛结果显示,AI 在数学推理方面取得了显著进步,但也面临着数据泄露等挑战。
🏆 **比赛结果:Numina 团队夺冠,模型答对 29 道题**
Kaggle 上的第一届 AI 数学奥林匹克竞赛结果公布,Numina 团队的模型在 50 道题中答对了 29 道,取得了第一名。该模型并非从头搭建,而是微调了开源的 LLM,并将在未来公开一系列信息,包括模型、数据集以及构建方法。
比赛共有 5 个团队胜出,排名分别为:Numina、CMU_MATH、after exams、codeinter 和 Conor #2。这些团队成员至多有 5 人,最少有 1 人。值得一提的是,仅凭借 1 人拿下比赛第二名的华人学者,是来自 CMU 的博士 Zhiqing Sun(孙之清)。
🧮 **比赛难度:略高于 AMC 12,略低于 AIME**
比赛题目涵盖了简单算术、代数、集合推理等多方面的题目,难度略高于 AMC 12(美国数学竞赛),略低于 AIME(美国数学邀请赛),需要使用高中水平的数学知识。主办方出完题之后,也把题目拿给 Gemma 7B 做了基准测试,正确率只有 3/50。而排名第一的 Numina,居然能达到 29/50 的正确率,已经逼近 AMC 12 晋级 AIME 所需要的正确率。
💰 **百万大奖:奖励机制鼓励进步与突破**
比赛奖金池为 1000 万美元,将根据排名分别给出不同的奖励。其中,进步奖(Progress Prize)将奖励排名前列的团队,而综合进步奖(Overall Progress Prize)将授予在公开及私有测试集上至少获得 47/50 分的最高排名团队。如果本次比赛产生了获胜者,其奖金不低于 794,624 美元。如果没有团队获得该奖,剩余的奖金将转入下一届比赛,采用相同的奖金分配方式。
👥 **团队成员介绍:来自不同机构的顶尖人才**
Numina 团队共有 4 名成员,分别来自不同的机构。Jia Li 是 Numina 的联合创始人,Lewis Tunstall 和 Edward Beeching 来自 Hugging Face,Hélène Evain 则是另一位团队成员。值得一提的是,第二名获得者是 CMU 博士 Zhiqing Sun(孙之清),他曾在北大学获得了计算机科学学士学位,并获得了谷歌自然语言处理博士奖学金和 OpenAI Superalignment Fast Grants 的奖励。
陶哲轩所说的,是Kaggle社区中一个从4月开始的挑战赛,奖金池有1000万美元,旨在推动提高AI模型的数学推理能力。

比赛地址:https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize/overview总的来看,这次比赛共有5个团队胜出,第一名是Numina,第二名是CMU_MATH,第三名是after exams,第四名是codeinter,第五名是Conor #2。值得一提的是,仅凭借1人拿下比赛第二名的华人学者,竟是来自CMU博士。虽然有GSM8K等流行的基准测试,但不可避免的数据泄露问题会影响评估的准确性。
而这次挑战赛采取了Kaggle一贯的私有测试集模式。主办方共准备了110道题,包括训练集10道、公共测试集50道以及私有测试集50道。这些题目涵盖了简单算术、代数、集合推理等多方面的题目,难度略高于AMC 12(美国数学竞赛),略低于AIME(美国数学邀请赛),需要使用高中水平的数学知识。你可能觉得美国高中的数学题应该不难,但竞赛官网上有这样一句话,「AIME旨在挑战聪明的学生,以选择代表美国参加IMO(国际数学奥赛)的学生。」在三位数111至999中,每个数字都被染成蓝色或黄色,使得任意两个(不一定不同)黄色数字的和等于一个蓝色数字。最多可能有多少个黄色数字?
答案是250(取模1000后的结果),不知道你觉得难度如何。主办方出完题之后,也把题目拿给Gemma 7B做了基准测试,正确率只有3/50。而排名第一的Numina,居然能达到29/50的正确率,已经逼近AMC 12晋级AIME所需要的正确率。成绩公布后,Numina项目的众多参与者也高兴得纷纷发推庆祝。但遗憾的是,他们口中的Numina Math 7B模型尚未发布。从推文信息来看,模型并非从头搭建,而是微调了开源的LLM从而提升数学推理能力,并将在未来公开一系列信息——包括模型、数据集以及构建方法!从总排行榜中,我们可以看到,拿到排行榜第一名的团队一共有4人,分别来自不同的机构。
Jia Li目前是一家初创公司Numina的联合创始人,这次参与比赛的模型便是基于此微调而来的。Lewis Tunstall是Hugging Face的一名机器学习研究员,目前专注于研究人类反馈进行强化学习(RLHF)的工具和方法。Edward Beeching本人也来自Hugging Face,研究重点是RLHF、嵌入式学习和LLM工具的使用。在此之前,他曾是INSA Lyon/INRIA的博士生。作为INRIA CHROMA团队的一员,还曾研究了基于结构化记忆的深度强化学习方法,用于规划和导航。Edward曾获得物理学学士学位,并在地球物理学领域的图像处理和信号处理方面,拥有6年的行业经验。之后又获得了机器学习和数据挖掘硕士学位。斩获一等奖的最后一位成员是Hélène Evain。值得一提的是,第二名获得者是CMU博士Zhiqing Sun(孙之清)。在这场比赛中,他训出的AI答对了22道题目。孙之清目前是CMU LTI即将毕业的博士生,导师是Yiming Yang教授。他曾在北大学获得了计算机科学学士学位。他的个人研究曾获得了谷歌自然语言处理博士奖学金(2023年),以及OpenAI Superalignment Fast Grants(2024年)的奖励。孙之清本人对机器学习和人工智能领的研究感兴趣,并且最近的研究主要集中在基础模型的可扩展对齐上。
关于这次参赛整体情况,共有1401个参与者,参与的团队有1161个,最终提交模型结果有1831份。进步奖(Progress Prize):$1,048,576第一名:$131,072
第二名:$65,536
第三名:$32,768
第四名:$16,384
如果前五名中的任一团队在公开和私有测试集上的得分都未能超过Gemma 7B的3/50基准,奖金将减少到原来的四分之一,具体数额如下:第一名:$32,768
第二名:$16,384
第三名:$8,192
第四名:$4,096
综合进步奖(Overall Progress Prize):将授予在公开及私有测试集上至少获得47/50分的最高排名团队。在为排名前五的团队颁发奖金后,总奖金的剩余部分将颁发给综合进步奖获得者。如果本次比赛产生了获胜者,其奖金不低于$794,624。如果没有团队获得该奖,剩余的奖金将转入下一届比赛,采用相同的奖金分配方式。另外,这次AI|MO大赛的顾问委员会包括两位菲尔兹奖得主陶哲轩(Terence Tao)和Timothy Gowers,还有Dan Roberts、Geoff Smith和Po-Shen Loh。https://mathstodon.xyz/@tao https://x.com/JiaLi52524397/status/1808886880164880631
