原创 关注前沿科技 2025-01-19 11:43 北京
团队还给基准测试挑出了bug
梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI
DeepSeek版o1，有消息了。
还未正式发布，已在代码基准测试LiveCodeBench霸榜前三，表现与OpenAI o1的中档推理设置相当。
注意了，这不是在DeepSeek官方App已经能试玩的DeepSeek-R1-Lite-Preview（轻量预览版）。
而是摘掉了轻量版的帽子，称为DeepSeek-R1-Preview（预览版），意味着替换了规模更大的基础模型。
LiveCodeBench团队透露，他们正在与DeepSeek合作评估新模型的能力，在合作过程中，DeepSeek团队还帮他们找出并解决了评分系统的一些bug。
与此同时，他们还晒出了目前仅有的一张DeepSeek-R1-Preview的思考过程。
鉴于DeepSeek此前已宣布R1模型将开源，有网友表示，与OpenAI o1编程能力相当的开源模型即将发布，2025年的编程就只剩下按Tab键了。
DeepSeek推理大模型满血版
两个月前，DeepSeek在官网上线DeepSeek-R1-Lite-Preview时曾透露：
DeepSeek-R1-Lite-Preview使用强化学习训练，推理含大量反思和验证，遵循新的Scaling Laws——
推理越长，表现越强。
在AIME测试基准中，随着推理长度的增加，DeepSeek-R1-Lite-Preview表现出稳定的得分提升。
DeepSeek-R1-Lite推理的特点在网友们的后续测试中也得到了验证：
在某些情况下，模型似乎能够在生成推理步骤时自我纠正，表现出类似原生“自我反思”的能力。不过，没有训练数据、模型架构和技术报告/论文的细节，很难确认这一点。
期待未来的开源模型和API！
摘掉Lite的帽子，变成DeepSeek-R1-Preview，意味着换了更大的基础模型。
之前Lite版就在难度较高数学和代码任务上超越o1-preview，大幅领先GPT-4o。
这次在LiveCodeBench上，这次的DeepSeek-R1-Preview的表现又与OpenAI o1-Medium相当，网友们更加期待开源模型和API了。
LiveCodeBench由UC伯克利、MIT和康奈尔大学团队推出，旨在对大模型的代码能力进行全面且无污染的评估。
具体避免测试数据泄露的方法，是随着时间的推移不断从人类的编程竞赛平台收集新的题目。
除了代码生成，还会评估模型在代码自修复、执行和测试输出预测等方面的能力。
这样实时更新、确保公平性和可靠性的测试方法，获得了开发者社区的认可。
还有程序猿喊话Cursor直接把R1-Preview集成到Agent mode里：
One More Thing
赶在春节前，许多还在做训练的国产大模型团队，都把自家模型更新了一遍：
MiniMax开源4M超长上下文新模型！性能比肩DeepSeek-v3、GPT-4o
全球首次！国产AI开源端侧GPT-4o海外爆火，8B参数iPad就能跑
国内数学最强！实测讯飞版o1：上能打奥赛卷高考，下能辅导寒假作业
……
OpenAI似乎要趁这边放假开始搞事情了（狗头），奥特曼发帖透露：
o3-mini完成外部合作测试，已确定最终版，将在几周内推出，会同时上线API和ChatGPT。
在后续对话中，奥特曼还确认了未来模型更多基本情况：
o3-mini的速度会非常快
o3-mini大多数情况下不如o1-pro
o3 pro收费从$200/月起步
OpenAI正在关注如何让AI一次性输出更多内容
2025年计划把GPT系列和o系列合并
参考链接：
[1]https://x.com/StringChaos/status/1880317308515897761
[2]https://x.com/deepseek_ai/status/1859200149844803724
[3]https://x.com/sama/status/1880356297985638649
— 完 —
量子位智库年终发布三大年度报告！
带你一起回顾2024年人工智能、智能驾驶、Robotaxi新趋势，预见2025年科技行业新机遇！
2024年度AI十大趋势报告
Robotaxi2024年度格局报告
智能驾驶2024年度报告
一键关注 ? 点亮星标
科技前沿进展每日见
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
