IT之家 03月10日
北京大学联合华为发布全栈开源 DeepSeek 推理方案
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

北京大学联合华为发布DeepSeek全栈开源推理方案,该方案基于北大自研SCOW算力平台系统、鹤思调度系统,并整合DeepSeek、openEuler、MindSpore与vLLM/RAY等开源组件,实现了华为昇腾上的DeepSeek高效推理,并支持大规模算力集群训推一体化部署。所有开发者均可获取源码并进行二次开发,性能接近闭源方案。该方案已在未名卓越一号集群部署成功,该集群由北京大学计算中心负责研制与运维管理,为北大鲲鹏昇腾科教创新卓越中心提供算力支持。

🚀DeepSeek全栈开源推理方案基于北大自研SCOW算力平台系统和鹤思调度系统,并整合了DeepSeek、openEuler、MindSpore与vLLM/RAY等开源组件,实现了在华为昇腾上的高效推理。

👨‍💻该方案支持大规模算力集群的训推一体化部署,所有开发者均可获取源码并根据需求进行二次开发,其性能表现接近闭源方案。

⚙️通过异构调度负载感知MoE冷热专家,该方案能够更细粒度地调度任务;同时,通过异构融合高效管理内存,减少系统内存碎片;并利用毕昇编译器进一步优化,减少算子下发耗时,提升推理整体性能。

🏫该方案已在未名卓越一号集群成功部署,该集群由北京大学计算中心负责研制与运维管理,为北大鲲鹏昇腾科教创新卓越中心提供算力支持。该集群是国内首个基于高校自研基础软件的国产智算平台,首期集成20台昇腾AI服务器与10台鲲鹏通用服务器,AI算力规模为30.64PFlops(半精度)。

IT之家 3 月 10 日消息,据华为技术有限公司和北京大学高性能计算校级公共平台消息,2025 年 3 月 9 日,北京大学联合华为发布 DeepSeek 全栈开源推理方案

据介绍,该方案基于北大自研 SCOW 算力平台系统、鹤思调度系统,并整合 DeepSeek、openEuler、MindSpore 与 vLLM / RAY 等社区开源组件,实现华为昇腾上的 DeepSeek 高效推理,并支持大规模算力集群训推一体化部署。所有开发者均可获取源码并根据需求二次开发,性能接近闭源方案


全栈开源方案其他闭源方案
模型DeepSeek-R1-w8a8
硬件配置2*Atlas 800I A2
输入长度4096
输出长度1024
系统输出
吞吐
11981288
用户并发128128

目前,此方案在未名卓越一号集群部署成功。该集群由北京大学计算中心负责研制与运维管理,为北大鲲鹏昇腾科教创新卓越中心提供算力支持。IT之家查询获悉,作为国内首个基于高校自研基础软件的国产智算平台,该集群于 2024 年 11 月 18 日上线运行,首期集成 20 台昇腾 AI 服务器与 10 台鲲鹏通用服务器,AI 算力规模为 30.64PFlops(半精度)。

此次发布的 DeepSeek 推理方案依托全栈开源组件构建,在 openEuler 开源操作系统层面进行了深度优化;通过异构调度负载感知 MoE 冷热专家,从而更细粒度调度任务;通过异构融合来高效管理内存,减小系统内存碎片;利用毕昇编译器进一步优化,减少算子下发耗时,提升推理整体性能。

▲ 算力集群全栈开源推理方案架构图

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

DeepSeek 开源推理 华为昇腾 北京大学 智算平台
相关文章