index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html
![]()
ICLR 2025 迎来了投稿数量的新高,超过 11000 篇论文,同比增长 61%。为了应对庞大的投稿量,ICLR 2025 引入了「评审反馈智能体」,旨在通过 AI 协助审稿人撰写更具建设性、可操作性的评审意见。该系统已在 ICLR 2024 的评审意见上进行了测试,主要针对三个方面提供建议:鼓励审稿人改写含糊的评论,突出文章中可能已经回答了审稿人一些问题的部分,以及发现并处理不专业、不恰当的言论。此外,ICLR 2025 继续接受博客文章投稿,鼓励作者分享对机器学习的独特见解和观点。
🤔 **AI 协助审稿,提升评审质量:** ICLR 2025 引入了「评审反馈智能体」,旨在通过 AI 协助审稿人撰写更具建设性、可操作性的评审意见。该系统已在 ICLR 2024 的评审意见上进行了测试,主要针对三个方面提供建议:
* **鼓励审稿人改写含糊的评论:** 例如,AI 会建议审稿人提供更具体的基线或说明缺少某些方法的原因。
* **突出文章中可能已经回答了审稿人一些问题的部分:** 例如,AI 会提醒审稿人注意文章中已经回答了其提出的问题的部分。
* **发现并处理不专业、不恰当的言论:** 例如,AI 会建议审稿人将评论重点放在论文的具体内容和方法上,而不是对作者发表个人意见。
该系统不会取代任何人类审稿人,也不会撰写审稿评论,而是作为助手提供可选的反馈,审稿人可以选择接纳或忽略。
💡 **博客文章投稿:** ICLR 2025 继续接受博客文章投稿,鼓励作者分享对机器学习的独特见解和观点,包括:
* 回顾过去的工作并总结结果,提出新的直觉,或指出一些不足之处。
* 对现有的机器学习概念或技术提出新颖的观点或解释。
* 从新的角度讨论机器学习中的重要问题,如可复现性。
* 分析机器学习和人工智能最新进展的社会影响。
* 你尝试过但未成功的有趣研究想法。
🤯 **审稿人分配问题:** 今年 ICLR 邀请了 15249 位审稿人,但由于人数过多,导致许多人没有收到任何审稿的论文。此外,一些审稿人被分配了论文,尽管他们的自定义最大论文数设置为 0。目前,这些问题还待 ICLR 去解决。
ICLR 2025审稿正式开启了,预计截止到11月3日。而且,每位审稿人最多被分配到3篇论文,就是为了让大家深思熟虑去撰写高质量反馈。ICLR 2025共有11000多篇论文提交,同比增长61%。ICLR 2024同比增长47%。如此多的论文,究竟该怎么审?如何获得建设性、高质量同行评审?而且,论文提交数增加,对评审员需求也会增加,往往导致评审质量不一致问题。对此,ICLR官方竟引入了「评审反馈智能体」(review feedback agent),让AI去识别审查中的问题,并向审稿人反馈改进。更有意思的是,很少发声的Bengio转发了ICLR 2025官博,继续征集不同于学术论文的投稿形式——博客文章。ICLR顶会每年举办一次,2025年将是第13届年会,于4月24日-28日将在新加坡举办。鉴于投稿数那么多,ICLR 2025也是想要借AI洪荒之力解难了。目的是为了,让AI帮助审稿人的评审结果,更具建设性、可操作性。为此,ICLR使用了多个大模型设计出反馈系统,就是为了将化觉降到最低,提高反馈质量。而且,该系统已经在ICLR 2024评审意见上,进行了测试。「评审反馈智能体」将就审稿中可能存在的三类问题,提供建议。ICLR 2025官方组委会通过汇编公众评论,并评估了以往ICLR审稿确定了这三类问题:- 鼓励审稿人改写含糊的评论,让其对作者更具可操作性;- 突出文章中可能已经回答了审稿人一些问题的部分;如下,是由AI为以上三种类别标记的评论的示例,并给出一个示例反馈。以往几届,不论是哪个顶会,都会被作者们吐槽的一个问题是——审稿人太糊弄了。一句话——这篇论文还应提供更多实验数据,直接给了低分。而这次,审稿人这种模棱两可的评论,就要被AI「打回去」了。如果能提出您认为必须包括的具体基线,将会很有帮助。您是否认为目前的比较缺少某些方法?能否详细说明原因?
当审稿人评论称,「在图4中,Transformer的效率实验没有结果,这是一个关键的限制因素」。而论文中,可能包含了这个结果,只是审稿人没有注意到。比如,审稿人会说,「作者完全不知自己想要做什么」。AI会建议道,「我们感谢您的评论,但恳请您将评论重点放在论文的具体内容和方法上,而不是对作者发表个人意见」。官方表示了,智能体系统不会取代任何人类审稿人,而且也不会撰写审稿评论,或直接对评论自动编辑。相反,它将作为一个助手,提供可选的反馈。审稿人可以选择接纳,或者忽略。与以往的ICLR顶会一样,每一份提交的论文皆由人类审稿人独立进行反馈,最终的「接收」决定,将由ACS、SAS和审稿人做出。而且,AI将为随机选择的一部分初始评审提供反馈,以便进行比较并评估其影响。在评审意见对作者公开之前,审稿人将有机会更新他们的评审(如果愿意的话)。AI一般在提交评审后的几小时内,向审稿人提供建议。对后续的审稿人回应将不再提供反馈,审稿人与反馈系统之间也不会有进一步的互动。此外,反馈只对评审员和ICLR项目主席可见;不会与其他评审员、作者或区域主席(AC)分享,也不会影响录用决定。据官方统计,今年有15249位审稿人,824位AC,以及71位高级AC。由于邀请了太多的审稿人,导致许多人尽管收到了电子邮件通知,却没有收到任何评审的论文。还有人指出,自己看到审稿人的自定义最大论文数(custom-max-papers)设置为0,本应无法分配到论文,但他们却被分配了一篇论文。这是怎么回事?延续之前的传统,今年ICLR顶会继续批准提交博客类型的文章。- 回顾过去的工作并总结结果,提出新的直觉,或指出一些不足之处- 对现有的机器学习概念或技术提出新颖的观点或解释- 从新的角度讨论机器学习中的重要问题,如可复现性https://x.com/Yoshua_Bengio/status/1846197032966385867https://blog.iclr.cc/2024/10/09/iclr2025-assisting-reviewers/