本文介绍了大模型test-time计算，它类似于人类的“慢思考”能力。通过引入丹尼尔·卡尼曼的《思考，快与慢》中的System 1和System 2概念，将模型的train-time比作System 1的直觉反应，而test-time则类比System 2的逻辑推理。Test-time计算技术让模型在推理阶段引入额外计算，根据新数据不断调整和优化，提高模型在处理复杂推理任务时的鲁棒性和准确性，例如OpenAI o1/o3、DeepSeek R1等推理模型。

😊 **System 1与System 2：** 丹尼尔·卡尼曼的《思考，快与慢》将人类思维模式分为System 1（直觉反应）和System 2（逻辑推理），前者快速自动，后者缓慢深入。

🤔 **AI中的对应关系：** 模型的train-time（训练时间）类似于System 1，模型通过大量数据学习基本知识和模式；test-time（测试时间）则类似于System 2，通过test-time技术动态调整参数，让模型在推理时“慢下来”，提升复杂任务的解答准确性。

🚀 **Test-time计算：** Test-time计算技术在推理阶段引入额外计算，让模型不仅仅依赖训练时形成的直觉，还能根据新数据不断调整和优化，提高模型在处理复杂推理任务时的鲁棒性和准确性。

💡 **实际应用：** OpenAI o1/o3、DeepSeek R1等推理模型，就是利用test-time计算技术，实现了在复杂任务上的显著提升。

Ace人生 2025-03-19 22:03 上海

最近总是看到模型的“test-time compute”，一头雾水，学习之后终于懂了！

要了解大模型的test-time，先要从丹尼尔·卡尼曼的经典著作《思考，快与慢》说起。其核心是两个思维模式——System 1 和 System 2。

🔸 什么是System 1 与 System 2？

System 1：我们的直觉反应模式，快速、自动、无需太多思考，就像你看到熟悉的面孔时瞬间认出😊。

System 2：当面对复杂问题时，我们会动脑筋，慢慢思考、逻辑推理，就像解一道难题时全神贯注🤔。

🔸 AI中的对应关系

在AI领域，我们通常把模型的train-time（训练时间）看作是类似System 1的阶段——模型在这个阶段通过大量数据学习基本知识和模式，建立起快速反应的“直觉”。

而test-time（测试时间）则类似于System 2。传统上，模型在测试阶段只依靠训练好的参数迅速作出预测，但现在通过test-time技术（例如重复采样、自我纠正、树搜索等）来动态调整参数，让模型在推理时“慢下来”，逐步深入思考，从而提升复杂任务的解答准确性🚀。

🔸 test-time计算——让模型具备“慢思考”能力

Test-time计算技术就是在推理阶段引入额外计算，让模型不仅仅依赖训练时形成的直觉，还能根据新数据不断调整和优化，就像我们在面对难题时会仔细推敲一样！这种方法大大提高了模型在处理复杂推理任务时的鲁棒性和准确性💡。

🔸 总结

简单来说，在train-time阶段，模型“打基础”，学到快速的直觉（System 1）；而在test-time阶段，借助额外计算，模型可以逐步展开逻辑推理（System 2），表现出更强的复杂推理能力。比如OpenAI o1/o3、DeepSeek R1这样的推理模型，就是利用test-time计算技术，实现了在复杂任务上的显著提升🔥！

跳转微信打开