智源社区 01月20日
DeepSeek新模型霸榜,代码能力与OpenAI o1相当且确认开源,网友:今年编程只剩Tab键
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

DeepSeek发布了R1预览版模型,在代码基准测试LiveCodeBench上表现出色,与OpenAI o1的中档推理设置相当。该模型并非之前发布的轻量预览版,而是替换了更大规模的基础模型。DeepSeek团队还与LiveCodeBench合作,解决了一些评分系统的bug。此举引发了网友对开源模型的期待,认为其编程能力有望与OpenAI o1媲美。此前DeepSeek-R1-Lite-Preview已展现出强大的推理能力和自我纠正能力,而R1预览版的发布预示着DeepSeek在AI模型领域的进一步突破。与此同时,其他国产大模型也在春节前纷纷更新,OpenAI也计划推出o3-mini,AI领域竞争日益激烈。

🥇DeepSeek R1预览版在LiveCodeBench代码基准测试中表现出色,达到与OpenAI o1中档推理设置相当的水平,标志着其模型性能的显著提升。

🚀DeepSeek R1预览版并非轻量版,而是采用了更大规模的基础模型,这表明DeepSeek在模型性能上进行了重大升级。

🤔DeepSeek团队与LiveCodeBench合作,共同解决了评分系统中的bug,体现了其对模型评估的严谨态度和对技术细节的关注。

💡DeepSeek此前的Lite版已在数学和代码任务上超越o1-preview,这次R1预览版的表现更令人期待,预示着开源模型和API的潜力。

🌟LiveCodeBench通过实时更新、确保公平性和可靠性的测试方法,获得了开发者社区的认可,为大模型的代码能力评估提供了可靠的平台。

DeepSeek版o1,有消息了。

还未正式发布,已在代码基准测试LiveCodeBench霸榜前三,表现与OpenAI o1的中档推理设置相当

注意了,这不是在DeepSeek官方App已经能试玩的DeepSeek-R1-Lite-Preview(轻量预览版)

而是摘掉了轻量版的帽子,称为DeepSeek-R1-Preview(预览版),意味着替换了规模更大的基础模型

LiveCodeBench团队透露,他们正在与DeepSeek合作评估新模型的能力,在合作过程中,DeepSeek团队还帮他们找出并解决了评分系统的一些bug。

与此同时,他们还晒出了目前仅有的一张DeepSeek-R1-Preview的思考过程。

鉴于DeepSeek此前已宣布R1模型将开源,有网友表示,与OpenAI o1编程能力相当的开源模型即将发布,2025年的编程就只剩下按Tab键了。

DeepSeek推理大模型满血版

两个月前,DeepSeek在官网上线DeepSeek-R1-Lite-Preview时曾透露:

DeepSeek-R1-Lite-Preview使用强化学习训练,推理含大量反思和验证,遵循新的Scaling Laws——

推理越长,表现越强。

在AIME测试基准中,随着推理长度的增加,DeepSeek-R1-Lite-Preview表现出稳定的得分提升。

DeepSeek-R1-Lite推理的特点在网友们的后续测试中也得到了验证:

在某些情况下,模型似乎能够在生成推理步骤时自我纠正,表现出类似原生“自我反思”的能力。不过,没有训练数据、模型架构和技术报告/论文的细节,很难确认这一点。

期待未来的开源模型和API!

摘掉Lite的帽子,变成DeepSeek-R1-Preview,意味着换了更大的基础模型。

之前Lite版就在难度较高数学和代码任务上超越o1-preview,大幅领先GPT-4o。

这次在LiveCodeBench上,这次的DeepSeek-R1-Preview的表现又与OpenAI o1-Medium相当,网友们更加期待开源模型和API了。

LiveCodeBench由UC伯克利、MIT和康奈尔大学团队推出,旨在对大模型的代码能力进行全面且无污染的评估。

具体避免测试数据泄露的方法,是随着时间的推移不断从人类的编程竞赛平台收集新的题目。

除了代码生成,还会评估模型在代码自修复、执行和测试输出预测等方面的能力。

这样实时更新、确保公平性和可靠性的测试方法,获得了开发者社区的认可。

还有程序猿喊话Cursor直接把R1-Preview集成到Agent mode里:

One More Thing

赶在春节前,许多还在做训练的国产大模型团队,都把自家模型更新了一遍:

MiniMax开源4M超长上下文新模型!性能比肩DeepSeek-v3、GPT-4o

全球首次!国产AI开源端侧GPT-4o海外爆火,8B参数iPad就能跑

国内数学最强!实测讯飞版o1:上能打奥赛卷高考,下能辅导寒假作业

阿里开源首个视觉推理模型,击败GPT-4o,网页一度404

……

OpenAI似乎要趁这边放假开始搞事情了(狗头),奥特曼发帖透露:

o3-mini完成外部合作测试,已确定最终版,将在几周内推出,会同时上线API和ChatGPT。

在后续对话中,奥特曼还确认了未来模型更多基本情况:

    o3-mini的速度会非常快

    o3-mini大多数情况下不如o1-pro

    o3 pro收费从$200/月起步

    OpenAI正在关注如何让AI一次性输出更多内容

    2025年计划把GPT系列和o系列合并

参考链接:
[1]
https://x.com/StringChaos/status/1880317308515897761
[2]https://x.com/deepseek_ai/status/1859200149844803724
[3]https://x.com/sama/status/1880356297985638649

量子位智库年终发布三大年度报告

带你一起回顾2024年人工智能智能驾驶Robotaxi新趋势,预见2025年科技行业新机遇

2024年度AI十大趋势报告

Robotaxi2024年度格局报告

智能驾驶2024年度报告

一键关注 ? 点亮星标

科技前沿进展每日见

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!


内容中包含的图片若涉及版权问题,请及时与我们联系删除

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

DeepSeek OpenAI o1 大模型 LiveCodeBench AI模型
相关文章