Cnbeta 02月25日
DeepSeek扔的第二枚开源王炸到底是什么?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

DeepSeek开源了全球首个面向MoE模型的全栈通信库DeepEP,旨在解决AI算力瓶颈问题。该技术通过优化NVLink,提升GPU间数据传输速度,如同为快递员配备“磁悬浮+量子传送”套装,显著提升数据传输效率。DeepEP还包含RDMA技术的低延迟内核,实现不同服务器间的数据“量子传送”,并利用AI智能分拣系统,优化数据包的分配和传输。此外,FP8“缩骨术”能够压缩数据格式,提高运输效率。DeepSeek在自家H800 GPU集群上实测,同城货运速度提升3倍,跨城延迟大幅降低。开源DeepEP相当于公开了高效的无人分拣系统图纸,大幅降低大模型训练成本。

🚀 DeepEP通过优化NVLink技术,提升GPU间数据传输速度,如同同城快递员配备磁悬浮轨道,大幅缩短数据传输时间。

🧠 DeepEP的智能分拣系统,如同AI版“最强大脑”,在训练和推理阶段都能智能识别数据包,并采用动态变轨技术,根据流量洪峰秒切换传输模式,提升传输效率。

📦 DeepEP采用FP8“缩骨术”,将数据压缩成微型胶囊,增加单次传输的数据量,到达目的地后自动恢复原状,在保证数据完整性的前提下,提升传输效率。

⏱️ DeepSeek在自家H800 GPU集群上实测,DeepEP能够将同城货运速度提升3倍,跨城延迟降低到人类难以感知的程度,大幅提升运算效率。

2月25日,开源放福利的DeepSeek甩出了一张王炸——开源全球首个面向MoE模型的全栈通信库DeepEP。因为直接解决了AI算力焦虑,GitHub瞬间飙出1500星(指收藏量),圈内集体炸锅,其重要性可见一斑。

很多人好奇DeepEP意味着什么?想象一下双十一的快递驿站:2048个快递小哥(GPU)在200个仓库(服务器)间疯狂搬运包裹(AI数据),传统运输系统就相当于让小哥们蹬三轮送货,而DeepEP直接给全员配上了“磁悬浮+量子传送”套装,稳定高效的传递信息。

特点一:直接改变运输规则

在2024年8月29日的英伟达电话会议上,黄仁勋曾经专门强调了NVLink(英伟达开发的一种让GPU之间直接互连的技术,双向互传速度可达1.8TB/S)对于低延迟、高输出和大型语言模型的重要性,认为它是推动大模型发展的关键技术之一。

然而这个被吹爆的NVLink技术,这次直接被中国团队玩出了新高度。DeepEP玄妙之处就在于对NVLink的优化,这意味着在同个仓库的快递员之间,用磁悬浮轨道运输,速度高达每秒158个集装箱(GB/s),相当于把北京到上海的距离缩短到喝一口水的时间。

黑科技二是其所包含的RDMA技术的低延迟内核,试想下,不同城市的仓库之间,货物直接“量子传送”,每架飞机(网卡)运力达每秒47个集装箱,还能让飞机一边装货一边飞行,计算与通信重叠,彻底告别停机等待。

特点二:智能分拣黑科技:AI版“最强大脑”

当货物需要分发给不同专家(MoE模型中的子网络)时,传统分拣员要逐个拆箱检查,而DeepEP的“调度-组合”系统就像拥有预知能力:在训练预填充模式,4096个数据包同时走智能传送带,自动识别同城或跨城件;在推理预填充模式,128个加急包裹走VIP通道,163微秒送达比人类眨眼快5倍。与此同时采用动态变轨技术,遇到流量洪峰秒切传输模式,完美适配不同场景需求。

特点三:FP8“缩骨术”

普通货物用标准箱子(FP32/FP16格式)运输,而DeepEP能把货物压缩成微型胶囊(FP8格式),同样卡车能多装3倍货物。更神奇的是,这些胶囊到达目的地后会自动恢复原状,既省邮费又省时间。

这套系统已在DeepSeek自家仓库(H800 GPU集群)实测:同城货运速度提升3倍,跨城延迟降低到人类难以感知的程度,而最颠覆性的是它实现了真正的"无感传输"——就像快递小哥边骑车边往快递柜里塞包裹,整个过程行云流水。

现在DeepSeek把这张王牌开源,相当于把顺丰的无人分拣系统图纸公之于众,原本需要2000台GPU的重型任务,现在几百台就能轻松拿捏。

在更早之前,DeepSeek发布了其“开源周”的第一项成果:FlashMLA(直译为快速多头潜在注意力机制)的代码,同样是减少大模型训练过程中成本的关键技术之一。为了缓解产业链上下游的成本焦虑,DeepSeek正在倾囊相授。

此前潞晨科技创始人尤洋在社交媒体发文表示,“短期内,中国的MaaS模式可能是最差的商业模式”,其简单估算,如果每日输出1000亿token,基于DeepSeek的服务每月的机器成本是4.5亿元,亏损4亿元;用AMD芯片月收入4500万元,月机器成本2.7亿元,这意味着亏损也超过2亿元。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

DeepSeek DeepEP MoE模型 AI算力 开源
相关文章