硅基流动 前天 04:21
比肩 H100!硅基流动上线基于昇腾云 CloudMatrix 超节点的 DeepSeek-R1
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

硅基流动联合华为云,基于CloudMatrix 384超节点昇腾云服务和SiliconLLM推理框架,推出了DeepSeek-R1。该服务在昇腾算力上实现了与DeepSeek官方一致的模型精度,单卡Decode吞吐量突破1920 Tokens/s,可比肩H100性能,并保证单用户20 TPS水平。通过大规模专家并行方案和极致通信优化,DeepSeek-R1在国产算力上实现了推理效率和资源利用率的显著提升,为用户提供更经济高效的DeepSeek推理服务。 此次合作推动了基于国产算力的DeepSeek-R1推理服务的持续升级。

🚀 硅基流动与华为云合作,基于CloudMatrix 384超节点昇腾云服务和SiliconLLM推理框架,正式上线DeepSeek-R1。

💡 DeepSeek-R1在保证单用户20 TPS水平的前提下,单卡Decode吞吐突破1920 Tokens/s,可比肩H100部署性能。

✅ 经过主流测试集验证及大规模线上盲测,在昇腾算力部署DeepSeek-R1的模型精度与DeepSeek官方保持一致。

⚙️ 采用大规模专家并行方案,通过多专家负载均衡和极致通信优化,实现高吞吐及更高性能,提升用户体验。

💰 DeepSeek-R1 API价格直降75%,支持批量推理,旨在让超级产品开发者实现“Token自由”。

原创 SiliconFlow 2025-04-10 17:17 北京

让基于国产算力的 DeepSeek 推理更经济高效。

今天,硅基流动创始人袁进辉在华为云生态大会上宣布,硅基流动联合华为云基于

CloudMatrix 384 超节点昇腾云服务和高性能推理框架 SiliconLLM ,用大规模专家并行最佳实践正式上线 DeepSeek-R1。


该服务在保证单用户 20 TPS 水平前提下,单卡 Decode 吞吐突破 1920 Tokens/s,可比肩 H100 部署性能。同时,经过主流测试集验证及大规模线上盲测,在昇腾算力部署 DeepSeek-R1 的模型精度与 DeepSeek 官方保持一致。



其中,通过架构的全面创新,基于新型高速总线架构的 CloudMatrix 超节点集群在总算力、互联带宽、内存带宽上领先业界。


此前,硅基流动在大模型云服务平台 SiliconCloud 首发推出了基于昇腾云的稳定生产级 DeepSeek-V3 & R1 推理服务,并支持模型私有化集群部署,这次合作推动基于国产算力的 DeepSeek-R1 推理服务持续升级。



DeepSeek 风暴席卷全球,特别是以其高效、低成本的 MoE 架构为应对大模型推理挑战打开了局面。不过,如果没有强大的 AI Infra 技术能力,要想部署好 DeepSeek 并非易事。


DeepSeek 使用了大规模专家并行(Expert Parallelism,大 EP 并行)的 MoE 模型架构,若采用单机部署方案,最终的性能远不如 DeepSeek 官方公布的部署方案,且至少有数倍成本差距。更具挑战的是,虽然 DeepSeek 公开了大 EP 并行方案,但技术难度较大,业内还没有其他团队快速复现这一部署方法。


针对这些难题,硅基流动与华为云联合攻关实现了技术突破。我们在 CloudMatrix 384 超节点昇腾云服务上部署 DeepSeek-R1 时采纳了大规模专家并行方案,通过多专家负载均衡和极致通信优化,实现高吞吐及更高性能,大幅提升了用户体验。同时,我们使用昇腾高性能算子库,以及硅基流动推理加速框架 SiliconLLM 在模型、机制、算子上的协同优化,实现在国产算力上,不损失模型精度的情况下, 获得 DeepSeek-R1 推理效率与资源利用率的显著提升。


硅基流动与华为云的合作不仅提供坚实的全国产软硬件体系部署方案,让 DeepSeek 推理服务更经济高效,也展现了 AI 生态合作的强大能量。硅基流动将继续加深与华为云的联合创新,共同提升产品体验,加速模型在更多场景落地。


近期更新
SiliconCloud上线加速版Wan2.1-I2V
SiliconCloud上线DeepSeek-V3-0324
硅基流动x昆仑技术推出DeepSeek一体机
关于DeepSeek-R1 API评测,至少有7个误区
硅基流动上线DeepSeek-R1 & V3企业级服务
DeepSeek API支持批量推理,R1价格直降75%

让超级产品开发者实现“Token自由”

邀好友用SiliconCloud,狂送2000万Token/人

即刻体验DeepSeek-R1&V3

cloud.siliconflow.cn

扫码加入用户交流群

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

DeepSeek-R1 华为云 昇腾 国产算力 SiliconLLM
相关文章