DeepTech深科技 2025-06-14 18:57 北京
在该定律的指导之下，当在英伟达 B200 上实现相同精度时，资源需求最高可降低至原来的三分之一。
（来源：arXiv）
动力学扩展定律的核心观点是：在测试时扩展（TTS，Test-time scaling）任务中，影响性能的主要因素不是参数数量，而是注意力机制的计算成本。本次研究团队证明，稀疏注意力从根本上重塑了扩展格局，使得生成内容的长度更长、精度更高。其在论文中表示，稀疏动力学可能预示着一种新范式，这种新范式使得即便在预训练进入平台期后仍能推动持续进步。研究中，他们还强调了将模型架构、测试时推理技术与硬件基础设施进行协同设计的必要性，并认为这是推动下一波可扩展大模型部署的关键步骤。虽然本次分析主要集中在英伟达 GPU 上，但“扩展内存带宽比扩展浮点运算（FLOP，floating-point operation）能力更具挑战性且成本更高”这一基本原理广泛适用于各类硬件平台，因此本次成果具有一定的普适性。降低每个 token 的计算成本，支持更长的文本生成和更多的并行样本处理研究团队表示，他们从实际效率的角度重新思考了测试时扩展定律，发现较小模型的有效性实际上被严重高估了。具体来说，此前人们基于计算最优性的研究工作，其实忽略了推理时策略所引入的关键内存访问瓶颈问题。而在本次研究之中，他们全面分析涵盖了从 0.6B 到 32B 参数的模型，借此揭示了动力学扩展定律，该定律通过同时纳入计算成本和内存访问成本，能够更好地指导资源分配。动力学扩展定律表明，在参数超过某个阈值的模型上使用测试时计算，比在较小模型上使用更为有效。一个关键原因是在测试时扩展中，注意力才是主要的成本因素（而非参数数量）。受此启发，研究团队提出了以稀疏注意力为中心的新扩展范式，该范式可以降低每个 token 的计算成本，从而能在相同的资源预算下，支持更长的文本生成和更多的并行样本处理。研究团队发现，稀疏注意力模型始终优于密集注意力模型。这说明随着计算投入的增加，稀疏注意力是必不可少的，而且会越来越重要，只有这样才能实现测试时扩展的全部潜力。而与训练不同的是，准确性并未随着计算的增加而饱和，而是会通过增加生成量不断得到提高。那么，研究团队开展本次课题的原因是什么？这要从测试时扩展（TTS，Test-time scaling）说起。眼下，测试时扩展策略已经成为增强大模型推理能力的一种重要手段，特别是在智能体与复杂环境交互的场景中，例如编写代码、浏览网页等场景中。然而，这些能力会带来显著的推理时成本，因此理解这一新范式下的性能扩展规律至关重要。现有的扩展定律研究主要关注浮点运算（FLOP，floating-point operation），但却忽略了内存访问成本。而内存访问成本往往是决定实际延迟的关键因素，因此上述做法可能会导致部署决策不够优化。（来源：arXiv）
如前所述，在本次研究之中他们展示了测试时扩展的动力学扩展定律，该定律源自于一个明确纳入内存访问成本的成本模型，它揭示了关于测试时计算资源分配的帕累托最优策略的截然不同的结论。具体而言，研究团队发现：首先，先前的标度律始终高估了通过推理时策略增强的小模型的有效性；其次，计算资源最好先用于将模型规模增大到一个关键阈值，然后再投入测试时策略。研究中，他们针对一系列最先进的推理模型所进行的屋顶线分析表明：之所以出现最优测试时计算策略的转变，是因为测试时策略不成比例地增加了注意力成本，而非增加了参数成本。（来源：arXiv）
研究团队的等成本分析表明，注意力机制随生成长度呈二次方增长的特性，加上键值内存相对于模型参数的失衡扩展趋势，共同使得人们更加倾向于扩大模型规模、而非增加生成长度。这种失衡现象在混合专家架构中被进一步加剧，正因此这种架构虽然能够降低激活参数量，但却未能缓解注意力计算的高开销现状。基于上述分析，研究团队引入了本次新的扩展范式，该范式以稀疏注意力为中心，从根本上重塑了扩展规律，显著提高了测试时扩展的可扩展性。（来源：arXiv）
根据研究团队的稀疏动力学扩展定律，最好将计算资源分配给测试时策略，而非用于降低稀疏性。随着在测试阶段投入更多计算资源，高稀疏性对于充分利用这些策略的优势变得愈发关键。尽管稀疏性传统上要么用于小模型的正则化，要么用于在参数过多的网络中减少计算量，但本次研究引入了一个根本不同的视角——稀疏性能够成为实现高效可扩展测试时计算的核心使能技术。与此同时，本次研究强调了在建立可扩展性定律的实际认知过程中，必须同时考量硬件因素与模型架构的重要性。让 Qwen3-0.6B 模型实现 23.6∼33.3 倍的吞吐量增长在实验设置和实验任务上，研究团队聚焦于以下三个具有一定挑战性的推理基准：涵盖代数、组合数学和几何的 AIME24 和 AIME25，以及包含近期编程竞赛中的复杂编程问题的 LiveCodeBench。在模型选择上，研究团队评估了 Qwen3 和 DeepSeek-R1-DistilledQwen 系列不同模型的性能。为了消除测试时策略的具体实现所引入的混杂效应，研究团队采用了两种具有代表性但简单的方法：长 CoT 和 Best-of-N。长 CoT 是一种在先进推理模型中被广泛使用的方法，Best-of-N 则通过可验证问题的解决率进行效果评估，并借助测试时间扩展给出理论性能上限。在硬件上，研究团队使用了英伟达 B200。实验中，他们在每个节点 8 个 GPU 上，通过批量大小和上下文长度分别为（4096，16384）和（2048，32768）的设置，展示了块 top-k 注意力在不同模型规模下的优势。同时，他们假设具有相似上下文长度和生成长度的任务的工作负载是统一的。如下图所示，块 top-k 注意力能够大大提高推理吞吐量，特别是对于较小的模型来说。例如，Qwen3-0.6B 模型实现了 23.6∼33.3 倍的吞吐量增长。（来源：arXiv）
这一性能提升反映出：随着上下文长度的增加，稠密注意力机制的效率会逐渐下降，而较小模型受到的影响尤为显著。吞吐量的显著提升凸显了这样一种潜力：当与推理系统和测试时策略进行适当的协同设计时，任务级吞吐量也能获得相应的提升。除了 top-k 注意力机制之外，目前他们仅探讨了一种简单的变体（即块 top-k 注意力），尽管如此已能展现出强大的可扩展性。眼下，已经存在更先进的稀疏注意力算法，这些算法具备将测试时扩展效率的边界推向更高水平的潜力。另一方面，测试时扩展算法旨在自适应地将计算资源分配给任务甚至是分配给 token。将它们扩展到稀疏注意力中的新资源分配问题，对于达到稀疏动力学的极限至关重要。例如，由于生成长度与稀疏注意力下的最佳试验次数密切相关，因此可以将其用作调整试验次数和键值预算的动态信号。（来源：arXiv）此外，稀疏的注意力大大降低了推理成本，使得更多的推理试验和更长的生成成为可能，这为在固定资源预算内配置测试时扩展策略提供了更大的灵活性。同时，通过将关注点从 token 级指标转向任务级吞吐量，研究团队认为本次成果能为算法与系统的协同设计开辟更广阔的空间。需要说明的是，本次研究本质上属于算法层面的成果，并不针对特定应用。尽管大模型可能被恶意滥用，但本研究并未引入现有系统之外的新能力或风险。研究团队表示，测试时扩展可能会消耗大量能源，引发人们对广泛部署的环境可持续性的担忧。而通过推广稀疏注意力，他们希望帮助减少推理系统的碳足迹和能耗，并助力实现更广泛的可持续人工智能目标。未来，他们希望这项研究能够指导在模型架构、测试时策略和硬件系统方面的协同设计，以便更好地解锁下一波大模型扩展的潜力。参考资料：https://arxiv.org/pdf/2506.0533301/ 首个金属核轮烯分子问世，南科大团队合成全新金属轮烯化合物，有望用于高性能电子器件等
02/ 仅需一百GPU时，科学家拆掉大模型融合“三堵墙”，可基于任何开源模型打造更强模型
03/ 科学家提出达尔文哥德尔机器，让AI通过重写自身代码来改进自己，可将编码能力提高30%
04/ 天大团队研发全新DNA存储系统，实现5.8倍测序深度下的图像恢复
05/ 苹果新论文分析DeepSeek-R1遇到复杂度阈值后准确率崩溃问题，Gary Marcus周末写长文声援
