关注前沿科技 2025-03-07 15:12 广东
用人工标注数据，AI自己刷题
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
见识过32B的QwQ追平671的DeepSeek R1后——
刚刚，7B的DeepSeek蒸馏Qwen模型超越o1又是怎么一回事？
新方法LADDER，通过递归问题分解实现AI模型的自我改进，同时不需要人工标注数据。
使Deepseek-R1蒸馏的Qwen2.5 7B模型在麻省理工学院积分大赛（MIT Integration Bee）上达到90分超越o1。
注意，不是积分制的比赛哦，是只做微积分中积分题的比赛，MIT的数学高手每年都会挑战一次，题目像这样：
LADDER论文来自小型独立研究团体Tufa Labs，论文已上传到arXiv。
在推理时间强化学习
LADDER，全称Learning through Autonomous Difficulty-Driven Example Recursion，即”通过自主难度驱动的样本递归进行学习”。
这个名字听起来有点拗口，但核心其实很容易理解：就是让语言模型（LLM）通过自我生成和求解渐进简化的问题变体，来不断提升自己解决复杂问题的能力。
具体来说，LADDER是一个结构化框架，由以下组件组成：
变体生成：一种结构化方法，用于生成复杂问题的逐渐简化变体的树，从而建立自然的难度梯度。
解的验证：一种用于验证积分解的数值积分方法。
强化学习：用于在变体树上训练基础模型的协议。
而LADDER这个名字，也意味着像是模型学会了”爬梯子”：通过自主生成一系列从易到难的问题变体，不断练习和强化，最终爬到顶端。
以往的训练方法，总是离不开大规模标注数据。
LADDER利用模型现有能力来生成问题变体，形成循序渐进的难度梯度，最终实现自举学习。整个过程只需对答案进行验证即可，无需人工干预。
相比之前的方法，LADDER有三大优势：
不再依赖人工标注数据，降低了数据获取成本；模型通过生成问题变体构建针对性的学习路径，学习更高效；生成的问题变体与原始问题相关性高，避免陷入无关细节。
此外，作者还提出了一种创新的测试时强化学习方法TTRL。在推理阶段遇到复杂的数学积分测试问题时，TTRL会动态生成一系列更简单的积分变体，模型通过解决这些变体来积累经验，找到解决原始难题的方法。
这种测试时计算扩展的思路，为进一步提升模型性能开辟了新的道路。不同于简单增加输出长度，TTRL能够让模型在推理时针对性地”刷题”，动态扩展能力边界。
通过LADDER，一个原本只有1%准确率的Llama 3.2 3B模型，在没有任何人工标注数据的情况下，解题准确率飙升至82%。
更强大的基础模型Qwen2.5 7B Deepseek-R1 Distilled，在用上LADDER方法后，
MIT Integration Bee比赛的成绩就从50%提高到73%。
最后，LADDER加上TTRL方法，让最终成绩达到90。
不过作者也强调，与o1的对比不是严格的头对头评估。
o1无法访问数字检查器，这意味着它在不同的约束下运行。LADDER的结果强调了通过递归问题分解和强化学习进行自我提升的有效性，而不是表明它直接优于o1的方法。
论文地址：https://arxiv.org/abs/2503.00735
参考链接：
[1]https://x.com/yoshiyama_akira/status/1897662722679959583
— 完 —
评选报名｜2025年值得关注的AIGC企业&产品
下一个AI“国产之光”将会是谁？
本次评选结果将于4月中国AIGC产业峰会上公布，欢迎参与！
一键关注 ? 点亮星标
科技前沿进展每日见
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
