DeepSeek V3模型正式发布，并开源了模型与技术报告，引起业界广泛关注。该模型训练成本仅需557万美元，远低于GPT-4o的预估成本。在代码能力方面，DeepSeek V3甚至超越了Claude Sonnet 3.5。DeepSeek V3原生采用FP8训练，仅需700GB+显存即可运行，转换到BF16半精度需1400GB+，量化到int4则仅需300GB+显存。DeepSeek还提供了236B参数的V2模型，半精度下占用490G显存，需要7张80G A100显卡。此举无疑将推动大模型技术的进一步发展。

🚀 DeepSeek V3模型正式发布并开源，引发大模型领域热议。

💰 训练成本仅557万美元（2000张H800），远低于GPT-4o的预估成本。

💻 代码能力超越Claude Sonnet 3.5，展示了强大的编程能力。

💾 基于FP8训练，700GB+显存即可运行，降低了部署门槛。

📈 提供多种精度选择，满足不同硬件需求，包括FP8、BF16和int4。

2024-12-27 17:59 湖北

DeepSeek V3 正式发布，模型与技术报告全开源，非常牛，又在大模型领域掀起了一股热议，概率为2句话：

便宜，正式训练成本仅要557万美元（2000张H800），而GPT-4o预估一亿美金

编程能力超过 Claude Sonnet 3.5

根据多个基准测试，DeepSeek v3 在代码方面甚至优于 Claude Sonnet 3.5

那么671B的DeepSeek V3如何本地运行尼，由于DeepSeek的框架原生采用 FP8 训练，因此仅提供 FP8 权重，预估仅700GB+显存便可轻松运行。

当然也可以转换到BF16，在半精度下，需1400GB+

量化到int4时需要300GB+

半精度 236B的DeepSeek V2，占用 490G 显存，需要 7张 80G A100

https://huggingface.co/deepseek-ai/DeepSeek-V3-Base/tree/mainhttps://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf

推荐阅读

• 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO

• 2024：ToB、Agent、多模态

• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！

• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）

---

欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。

跳转微信打开