How o1 thinks: 8 full Chain-of-Thought traces

Coding with Intelligence 2024年10月22日

../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

本周的 AI 新闻充满了激动人心的进展，从模型更新到研究成果，再到应用探索，展现了 AI 领域的蓬勃发展。Newso1 团队发布了性能强大的 'o1' 模型，其在多项任务上表现出色，超越了先前发布的 'o1-preview' 和 'o1-mini' 模型。微软发布了 GRIN 模型，该模型以 6.6B 的活跃参数，接近于 Llama 3 70B 的性能。Kyutai Labs 发布了情感语音到语音模型 Moshi，并开放了代码库，方便开发者使用。Goodfire AI 展示了特征提示/引导功能，而 Qwen 2.5 版本的发布则带来了更强大的代码生成能力，甚至超越了 DeepSeek V2.5。ScaleAI 尝试通过众包的方式，收集最难的评估数据集。Nous 预告了推理 LLM 端点的发布，而 NVIDIA 推出了接近 SOTA 水平的 72B VLM 模型 NVLM。在应用方面，Reposzml 构建了面向生产环境的高性能 AI 推理栈，LeanRL 提供了 RL 微调实现，Felafax 支持在 TPU 上微调 LLM，LMCache 则是一个专用的 KV 缓存项目，支持 vLLM 互操作。此外，还有多篇论文发表，例如 Google DeepMind 的 'Strawberry' 论文，探讨了通过强化学习训练语言模型进行自我修正，以及 Google 的 Michelangelo 长文本推理基准测试，以及 CPL 论文，探讨了关键规划步骤学习如何提升 LLM 在推理任务上的泛化能力。同时，也有关于 Chain of Thought 的研究成果，探讨了它在数学和符号推理中的作用，以及如何帮助 Transformer 模型解决固有的串行问题。此外，还有一些关于模型训练和优化方面的进展，例如 Fast Forwarding Low-Rank Training 和 LoRA 损失曲面的特殊性。在应用方面，Distilabel DataCraft 提供了基于自然语言构建数据集的功能，BFCL V3 则为多轮多步骤函数调用评估提供了新的基准测试。OpenAI 的 'Spinning Up' 项目为学习深度强化学习提供了教育资源，而 'o1/🍓' 技术则将 RL 推向了新的高度。Noam Brown 在 MIT EI 研讨会上分享了关于 AI 规划能力的寓言，而 OpenAI 的 Hyung Won Chung 则强调了“不要教，要激励”的理念。最后，PyTorch 团队实现了异步张量并行，为开发者提供了更强大的功能。

🎉 **模型更新与性能提升**: Newso1 发布了性能强大的 'o1' 模型，其在多项任务上表现出色，超越了先前发布的 'o1-preview' 和 'o1-mini' 模型。微软发布了 GRIN 模型，该模型以 6.6B 的活跃参数，接近于 Llama 3 70B 的性能。Kyutai Labs 发布了情感语音到语音模型 Moshi，并开放了代码库，方便开发者使用。Qwen 2.5 版本的发布则带来了更强大的代码生成能力，甚至超越了 DeepSeek V2.5。

🚀 **研究进展**: Goodfire AI 展示了特征提示/引导功能。ScaleAI 尝试通过众包的方式，收集最难的评估数据集。Nous 预告了推理 LLM 端点的发布，而 NVIDIA 推出了接近 SOTA 水平的 72B VLM 模型 NVLM。多篇论文发表，例如 Google DeepMind 的 'Strawberry' 论文，探讨了通过强化学习训练语言模型进行自我修正，以及 Google 的 Michelangelo 长文本推理基准测试，以及 CPL 论文，探讨了关键规划步骤学习如何提升 LLM 在推理任务上的泛化能力。同时，也有关于 Chain of Thought 的研究成果，探讨了它在数学和符号推理中的作用，以及如何帮助 Transformer 模型解决固有的串行问题。此外，还有一些关于模型训练和优化方面的进展，例如 Fast Forwarding Low-Rank Training 和 LoRA 损失曲面的特殊性。

💡 **应用探索**: Reposzml 构建了面向生产环境的高性能 AI 推理栈，LeanRL 提供了 RL 微调实现，Felafax 支持在 TPU 上微调 LLM，LMCache 则是一个专用的 KV 缓存项目，支持 vLLM 互操作。Distilabel DataCraft 提供了基于自然语言构建数据集的功能，BFCL V3 则为多轮多步骤函数调用评估提供了新的基准测试。OpenAI 的 'Spinning Up' 项目为学习深度强化学习提供了教育资源，而 'o1/🍓' 技术则将 RL 推向了新的高度。

🧠 **思考与展望**: Noam Brown 在 MIT EI 研讨会上分享了关于 AI 规划能力的寓言，而 OpenAI 的 Hyung Won Chung 则强调了“不要教，要激励”的理念。PyTorch 团队实现了异步张量并行，为开发者提供了更强大的功能。

🌟 **未来趋势**: AI 领域继续高速发展，模型性能不断提升，研究成果层出不穷，应用场景不断拓展。未来，AI 将在更多领域发挥重要作用，为人类社会带来更多福祉。

? News

o1 technical blog post

I highly encourage checking out the chain of thought reasoning text samples (8) in the blog post, these are the only examples we have of the raw chain of thought outputs as the API and ChatGPT hide them.

Note how the 'o1' model is different from 'o1-preview' and 'o1-mini' and performs significantly better on many tasks. AKA the most powerful model hasn't been released.

Gru and Honeycomb top SWE-bench verified

Microsoft releases GRIN 16x3.8B MoE

Beats 8x22B and close to Llama 3 70B with only 6.6B active parameters!

Emotive Speech-to-Speech model Moshi weights released by Kyutai

Demo https://moshi.chat/ including the code repo https://github.com/kyutai-labs/moshi

Goodfire AI shows off feature prompting/steering

Qwen 2.5 release

The best Qwen 2.5-Coder model appears to outperform DeepSeek V2.5 which is pretty impressive.

ScaleAI attempts to crowdsource hardest eval to date

Nous teases reasoning LLM endpoint

NVIDIA releases NVLM a close to SOTA 72B VLM

? Repos