富途牛牛头条 02月25日
DeepSeek開源周第二彈!EP通信庫來了,芯片需求有望大增
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

DeepSeek近日开源了其MoE模型训练和推理的ExpertParallelism通信基础DeepEP,此举迅速在GitHub等平台获得大量关注。DeepEP旨在实现高效优化的全到全通信,支持低精度计算,并针对非对称带宽转发场景进行了优化。与此同时,DeepSeek还重新开放了API充值,调整了DeepSeek-Chat模型的调用价格。此外,DeepSeek的低成本AI模型也显著推高了英伟达AI芯片在中国市场的需求,使得更多领域的中小企业开始采购相关设备。阿里巴巴Qwen团队也发布了新的推理模型QwQ,进一步推动了AI技术的发展。

🚀 DeepSeek开源DeepEP通信库,专为MoE模型和专家并行(EP)设计,解决了GPU之间调度和聚合令牌的效率问题,提供高吞吐量、低延迟的全对全GPU内核。

💡 DeepEP支持低精度操作(包括FP8),与DeepSeek-V3论文中的技术一致,解决了在节点内和节点间扩展MoE架构的挑战,并通过自适应配置提高灵活性。

💰 DeepSeek重新开放API充值,DeepSeek-Chat模型调用价格调整为每百万输入tokens 2元,每百万输出tokens 8元,此前曾因资源紧张停止充值。

📈 DeepSeek的低成本AI模型显著推高了英伟达AI芯片在中国市场的需求,不仅吸引了互联网巨头,也使得医疗保健、教育等领域的中小企业开始采购相关设备。

来源:券商中国
作者:时谦

上周五,DeepSeek宣布连续五天开源五大软件库。今天DeepSeek选择了先在GitHub上线,然后再在官推发布上新通知。该公司今日宣布将DeepEP向公众开放。在宣布后的约20分钟内,DeepEP已在GitHub、微软 (MSFT.US)等平台上获得超过1000个Star收藏。

据悉,DeepEP是MoE模型训练和推理的ExpertParallelism通信基础,可实现高效优化的全到全通信,以支持包括FP8在内的低精度计算,适用于现代高性能计算。DeepEP还针对从NVLink到RDMA的非对称带宽转发场景进行了深度优化,不仅提供高吞吐量,还支持流式多处理器数量控制,从而在训练和推理任务中实现高吞吐量性能。

此外,券商中国记者在DeepSeek API开放平台注意到,DeepSeek已重新开放API充值。DeepSeek-Chat模型优惠期结束,调用价格已变更为每百万输入tokens 2元,每百万输出tokens 8元。此前因资源紧张,DeepSeek曾一度停止充值。

DeepEP向公众开放

今天是DeepSeek开源第二天,他们一大早在官推上发布消息,开源DeepEP。

DeepSeek在官推上介绍,很高兴介绍DeepEP第一个用于MoE模型训练和推理的开源EP通信库。其特点包括:高效且优化的全对全通信,通过NVLink和RDMA支持节点内和节点间,用于训练和推理预填充的高吞吐量内核,用于推理解码的低延迟内核,原生FP8调度支持,灵活的GPU资源控制,用于计算通信重叠。

资料显示,使用混合专家(MoE)架构的大型语言模型在计算量没有相应增加的情况下,显著提高了模型容量。然而,这种方法也带来了挑战——尤其是在GPU之间的通信方面。在MoE模型中,对于任何给定的令牌,只有一部分专家处于活动状态,因此在设备之间高效交换数据至关重要。传统的全对全通信方法可能会造成瓶颈,从而增加延迟并导致GPU资源利用不足。在对延迟敏感的设置中,例如实时推理,即使是很小的延迟也会影响整体性能。

专家认为,DeepSeek推出的DeepEP,是一个专为MoE模型和专家并行(EP)设计的通信库。DeepEP解决了在GPU之间调度和聚合令牌所固有的低效率问题。该通信库提供高吞吐量、低延迟的全对全GPU内核(通常称为MoE调度和组合内核),可简化训练和推理过程中的数据交换。值得注意的是,DeepEP支持低精度操作(包括FP8),与DeepSeek-V3论文中详述的技术一致。此版本直接应对了在节点内和节点间环境中扩展MoE架构的挑战。

DeepEP通过自适应配置进一步提高灵活性。用户可以调整正在使用的SM数量等参数,或设置环境变量来管理流量隔离。低延迟内核目前支持的自适应路由有助于在高负载下均匀分配网络流量,从而提高稳健性。

芯片需求大增

据路透社消息,中国企业推出低成本人工智能模型DeepSeek后,显著推高了模型使用的英伟达 (NVDA.US)人工智能芯片在中国市场的需求。路透社引述知情人士的消息说,多家互联网巨头对同款H20芯片的订单激增。

与此同时,中国医疗保健、教育等领域规模较小的企业也开始采购备有DeepSeek人工智能模型和英伟达H20芯片的服务器。在这之前,只有财力较雄厚的金融和电信领域企业会采购人工智能计算系统。

报道说,虽然美国政府探讨进一步收紧对华出口芯片的限制,可能导致芯片订单激增,但知情人士认为,DeepSeek才是促使订单增加的主要原因。

其实,除了DeepSeek之外, 阿里巴巴 (BABA.US) Qwen团队今日早间在社交媒体宣布发布新推理模型——深度思考(QwQ)。这是在QWQ-MAX-PREVIEW支持下,一个基于Qwen2.5-Max的推理模型。QwQ可同时支持深度思考和联网搜索,并会展示完整的思维链。Qwen团队称,QWQ-MAX官方版本即将发布,同步会发布Android和iOS应用程序,还会发布更小的可在本地设备部署的模型,如QWQ-32B等。

DeepSeek引爆科技行情!善用「投资主题」功能,捕捉投资机会!打开富途牛牛>港股>投资主题>DeepSeek概念股

编辑/Rocky

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

DeepSeek DeepEP MoE模型 AI芯片 英伟达
相关文章