大型语言模型依赖大量运算资源，成本高昂。研究发现，通过测试阶段运算扩展，小型模型在推理时获得足够运算时间，能多次尝试和修正，提升性能，甚至在数学推理等任务中超越大型模型。DeepMind的研究表明，动态分配运算资源可提高模型解决复杂问题的效率。Hugging Face提出的多样性验证树搜索（DVTS）技术，进一步提升了小型模型在特定任务中的表现，挑战了传统以模型规模决定性能的观念。这些技术为企业提供了更具成本效益的方案。

💡测试阶段运算扩展：小型模型通过增加推理过程的运算时间，进行多次尝试和修正，从而显著提升性能，特别是在复杂问题上。

🔍动态资源分配：DeepMind的研究表明，动态分配测试阶段的运算资源，能使模型在解决复杂问题时更高效，验证器对中间推理结果评分并引导搜索。

🌳多样性验证树搜索（DVTS）：Hugging Face提出的DVTS技术，通过分离多个搜索树，提高了生成答案的多样性，避免单一路径主导搜索，使小型模型在数学推理等任务中表现出色。

🚀小型模型潜力：研究显示，在特定任务中，通过测试阶段运算扩展技术，小型模型甚至可以超越大型模型，颠覆了传统依赖模型规模提升性能的观念。

由於目前大型語言模型的效能，主要仰賴大量的訓練運算資源，而正是這種昂貴的成本模式，驅使開發公司尋求替代方案。而Hugging Face的研究顯示，透過測試階段運算擴展（Test-Time Compute Scaling），小型模型在推理過程中給予足夠的運算時間，能針對複雜問題進行多次嘗試或修正，效能不僅提升，甚至可在數學推理等特定任務中超越大型模型。這項成果挑戰了過去以模型規模作為效能提升主要依據的認知，展現了小型模型在資源有效利用下的潛力。測試階段運算擴展已成為許多研究機構關注的技術，其中DeepMind的研究顯示，藉由動態分配測試階段運算資源，可以讓模型在解決複雜問題時更具效率。DeepMind研究人員提出了使用驗證搜尋解答空間的策略，驗證器能對模型的中間推理解答給出評分，並引導搜尋過程朝正確方向推進。DeepMind的實驗證實，測試階段運算策略能讓小型模型在部分複雜任務中超越其基礎效能。而Hugging Face的研究更聚焦於開放模型與資源的應用，並提出多樣性驗證樹搜尋（Diverse Verifier Tree Search，DVTS）這種改進驗證器搜尋方法的技術。DVTS有效解決了搜尋過程中的多樣性不足問題，特別是在高運算資源配置下，其生成的解答在準確性和多樣性上表現更佳。透過這些測試階段運算擴展技術，Hugging Face展示小型模型在數學推理等特定任務中，足以挑戰甚至超越大型模型，顛覆過去仰賴模型規模決定效能的傳統觀點。簡單來說，DeepMind的研究主要說明，透過動態分配測試階段的運算資源，小型模型可以在多一點運算時間下，提升效能並表現得更好。Hugging Face的研究則進一步延伸，提出在某些特定任務中，給小型模型足夠的運算時間，不僅能提升效能，甚至可以超越參數量更大的模型。Hugging Face的DVTS針對搜尋策略中的多樣性問題進行最佳化，藉由分離多個搜尋樹，提升生成答案的多樣性並避免單一路徑過度主導搜尋過程的現象。在數學基準測試中，小型模型如參數量僅為10億的Llama模型，在應用DVTS策略後，解題表現不僅超越了自身基礎能力，甚至在某些情境中超越了參數量高達70億的大型模型。不過目前這些技術的發展仍受限制，因為驗證器的能力目前局限於數學和程式碼等可驗證領域，要將這些技術應用於需要主觀判斷，或是難以量化的任務，仍需要更多後續研究。不過從實務角度來看，測試階段運算擴展的成功，對模型效能提升提供了更具成本效益的方法，讓企業能以更少的資源部署更高效的語言模型，特別是在運算能力受限的環境下，如邊緣運算或嵌入式系統等。