调研纪要 03月03日
周末热议
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本周市场对DeepSeek推理系统成本展开热烈讨论。DeepSeek公布的DeepSeek-V3/R1推理系统细节显示,其通过跨节点专家并行技术和H800 GPU实现了高吞吐量和低延迟,成本利用率高达545%。尽管市场对DeepSeek极高的推理利润率感到惊讶,但需注意的是,这指的是运营推理云服务的毛利率,且是在满负载下的理想状态。该成本公开后,对算力整体影响中性,杰文斯悖论依然适用,下游应用继续受益。此外,一体机/本地化部署进入景气验证阶段,需跟踪实际订单落地情况及客户部署方案选择。

🚀DeepSeek推理系统采用跨节点专家并行(EP)技术,扩展batch size大小,隐藏通信延迟,实现最佳负载均衡,从而在H800 GPU上达到更高的吞吐量和更低的延迟,成本利用率高达545%。

💰DeepSeek的R1推理毛利率高达85%,V3毛利率约为70%。但若考虑实际定价、API收费和忙闲时问题,毛利率可能降至29%。随着收费API占比提升,毛利率有望持续提升,B端业务占比提升后,毛利水平将更具竞争力。

☁️大云厂商如字节、阿里等,因拥有更大的NV集群、高用户并发和更强的工程优化能力,能够形成推理成本的规模效应,实现DeepSeek MaaS服务的微利或盈亏平衡,而中型MaaS厂商则面临挑战加剧的局面。

🏢一体机/本地化部署进入景气验证阶段,需跟踪实际订单落地情况、客户部署方案选择、客户信息化水平提升动机以及各地补贴政策的出台情况。同时,也需关注昂贵的价格、芯片短缺、用途模糊以及运维难度大等堵点。

2025-03-02 23:46 广东

本周市场开始剧烈分歧,周末关于DS推理系统成本的话题引发了市场的高度关注。首先我们认为从3月份开始,无论是公有云还是本地化部署都在从春节后的“尝鲜热潮期”向“景气验证期”过渡,市场的打开方式也从逻辑体操向去伪存真转换。其次,DS推理系统的低成本再度引发了对算力需求的担忧,但我们认为这次的影响和春节期间的情况类似,“杰文斯悖论”依然适用,下游应用依然继续受益。


1、本周六DS公布了DeepSeek-V3/R1 推理系统的一些细节:

1)DS采用了跨节点的专家并行(EP)技术,利用EP扩展batch size大小,且将通信延迟隐藏在计算背后,并实现最佳负载均衡,以达到更高的吞吐量和更低的延迟。所有 DeepSeek-V3/R1 推理服务均在 H800 GPU 上运行,精度与训练保持一致(FP8-BF16混合精度),每个 H800 节点每秒 73.7k/14.8k prefilling输入/decoding输出tokens,成本利用率高达 545%(毛利率85%),最后仅用2000+张H800支撑起了2000w DAU的推理需求。

2)市场对DS极高的推理利润率感到惊讶和疑惑,我们首先需要指出的是:①这里的利润率指的是运营推理云服务的毛利率(只考虑了卡的成本,未考虑其他隐形成本)、②这是不考虑用户体验,时刻处于满负载下的毛利率(未考虑波峰波谷所需的算力冗余)、③这是全部按照收费最高的R1计算而得(按V3的定价大概70%)。DS在高细粒度的MoE模型推理优化上具备非常多领先的knowhow,这是值得各家云厂去快速效仿实践的。

3)DS公布推理系统成本后对算力各环节的影响:

<算力整体>中性:和过去每一次DS的发布无异,“杰文斯悖论”依然适用。

<NV卡>利好:DS在OpenWeek上开源的所有推理优化方案都是基于Hopper GPU的,NV卡依然是现阶段最具成本优势的芯片选择;

<国产卡>中性:两方面因素:①短期和N卡在推理成本的差距拉大,能否在国产卡上复刻N卡的优化能力(进一步研究的重点);②考虑到NV禁令和未来算子优化的潜在空间,未来依然有广阔的空间;

<大厂云>利好:大云厂拥有更大的NV集群+高用户并发+更强的工程优化能力,能够形成推理成本的规模效应;

<小厂云>保守:小云厂H卡少+用户少+优化能力弱,在与大厂的长期竞争中依然面临劣势;

<一体机>中性:有一定分歧,前提假设是下游有多少客户会因为DS选择上云。中性的观点认为本地化部署和公有云面对是不同的用户群体,一体机目前本质上是一种“信创”需求。


2、Deepseek 545%利润率解读:

1)对应R1毛利率85%,V3毛利率70%左右。

2)未考虑对外实际定价、部分API收费及忙闲时问题,同时收入数据依据2月27日-2月28日当日数据。若将其考虑进去,8折折扣率,收费API占比35%假设下对应毛利率29%。

3)随着收费API占比提升,毛利率将持续提升。预计60%收费API占比下,毛利率达58%。

随着B端业务占比提升,毛利水平较云厂其他业务将具备竞争力,此次deepseek利润率发布不会改变云厂商既定capex规划,同时capEx回报与AI应用关系可逐步量化,后续capex调整的兑现性将进一步增强。

利好应用:DeepSeek进入良性循环,模型能力进化可期,持续利好下游应用。DeepSeek收支数据公布后揭示了此前一大预期差,即市场所认为的其商业模式不可持续被证伪,相反高超的工程优化能力依然确保了较好的盈利情况,可以期待DeepSeek接下来更优质的模型迭代。较低的API价格+持续迭代的模型能力,下游应用必将迎来寒武纪大爆发。


3、接入DeepSeek的MaaS是否赚钱?

潞晨科技暂停DS API,Maas平台提供DS服务做不到DS这么高的算力使用效率,之前想亏钱抢用户,但用户抢不到,还不如DS能赚到钱,DS相当于天花板,且把成本利润都公开了,难以抢到流量。

接入DeepSeek的MaaS是否能赚钱破题的关键在资源与需求的“池化”概念。一体机or公有云,是资源的池化;单一的DS API需求or多样的AI应用调用,是需求的池化。

1)DS能做到85%的毛利率?现实中很难。因为1)DS团队的模型调优和工程优化能力太强,本周开源的5个技术包,即使BAT等大厂知道如何实现但是仍在努力复现中,中等规模的MaaS厂商显然这方面不如大厂。2)如MaaS公司负责人所说,MaaS是toB的、要收费的,对算力供给的稳定性有较高要求,资源一定是有冗余的,这样就会使得DS需求的波谷位置大量的资源闲置,而中型MaaS公司并没有丰富的AI需求来填上这个波谷。DS的测算太理想化,很难落地成商业现实。

2)即使没有这么高的毛利率就一定巨亏吗?不是的,BAT等大厂可能做到微利或盈亏平衡。因为1)对模型理解更深、调优能力更强。2)需求池化能力强,DS需求到波谷的时候,可以填充一些离线推理或其他AI应用的需求,来提升资源利用率。据我们了解字节阿里等公司的DS MaaS服务是微利或近似盈亏平衡的,资源部署量仅是波峰需求的两倍,而无需数倍。

3)后续产业变化:中型MaaS的挑战加剧。对算力输出稳定性、数据保密性要求极高的需求部分转向一体机,而剩下的需求大部分会转向字节阿里腾讯等大型云厂商。#注意对算力不是利空而是利好,杰文斯悖论超预期兑现,低推理成本将加速应用的到来。


4、一体机/本地化部署进入景气验证阶段:

1)3月份开始一体机/本地化部署这条线将进入到“景气验证”的阶段,我们需要跟踪:①多少有意向的客户会转换为实际落地的订单(估计要等到三月下旬)、②客户最终倾向于选择何种部署方案(选4090还是昇腾一体机?硬件买断还是上私有云?)、③客户有无提高自身信息化水平的动机(购买基础软件、进行数据治理、甚至上云,以在今后更好的接入AI)、④各地会不会有一些补贴政策出台(武汉近日已经出台了相关鼓励措施)

2)坦率来讲,一体机实际在落地过程中一定也会存在诸多堵点,例如昂贵的价格(昇腾910一体机售价超百万元)、芯片的短缺(4090等芯片已接连涨价)、模糊的用途(除了简单的RAG外如何和业务系统结合)、运维难度大(客户缺乏懂AI的技术人员)等。因此,我们认为3月对于一体机/本地化部署逻辑的景气验证至关重要,随着各厂商与意向客户开始进行具体的方案探讨,基本面的能见度有望逐步提升,届时我们也会对其保持紧密跟踪。


阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

DeepSeek 推理系统 算力成本 MaaS 一体机
相关文章