掘金 人工智能 前天 14:17
云上玩转DeepSeek系列之六:DeepSeek云端加速版发布,具备超高推理性能
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

阿里云PAI推出了优化版DeepSeek-R1模型DeepSeek-R1-PAI-optimized,旨在解决原始模型在产业落地中面临的部署难题。该优化版模型在模型体积大幅减小的同时,评测表现依然良好,单机8卡GU120即可实现高性能部署,硬件成本减半。在性能方面,相同时延约束下,吞吐能提升492%+;相同吞吐下,首token时延直降86%+,token间时延直降69%+。用户只需进入PAI Model Gallery,搜索DeepSeek-R1-PAI-optimized,即可实现模型一键部署,开箱即用。

🚀 **性能跃升:** DeepSeek-R1 优化版模型在吞吐和延迟方面实现了双优,全面提升推理流程的效率。在相同的 SLO 下,优化版模型吞吐提升了 492%,同等输出吞吐水平下,首token时延降低了 86%,token间时延降低了 69%。

💡 **技术领先:** 基于自研的模型优化技术,DeepSeek-R1-PAI-optimized 模型体积大幅减小的同时,评测表现与原模型基本持平,保证了优化效果。

🛠️ **极简操作:** 通过阿里云PAI Model Gallery,用户可以轻松部署优化版 DeepSeek-R1 模型,只需三步即可开始高性能推理。

💾 **多种衍生版本:** PAI-Model Gallery 还提供 DeepSeek-R1 量化版本 DeepSeek-R1-GGUF,大幅节省显存资源;以及 DeepSeek-R1 蒸馏版本 PAI-DistilQwen2.5-7B-R1 等,将 DeepSeek-R1 的推理能力迁移到小模型中。

作为国内首个千亿级开源 MoE 模型,DeepSeek-R1 凭借其卓越的代码生成与复杂推理能力,已成为开发者构建智能应用的首选。然而,原始模型在产业落地中面临严峻挑战,部署 671B 满血版模型不仅硬件门槛要求很高,同时吞吐效率和响应延迟也受到了制约。

PAI 正式推出了优化版 DeepSeek-R1 模型 DeepSeek-R1-PAI-optimized,将大模型推理效率推向了 Next Level。核心亮点有:

性能跃升:极致吞吐与超低时延

DeepSeek-R1 优化版模型 DeepSeek-R1-PAI-optimized,相较原模型,在吞吐和延迟方面实现了双优,全面提升推理流程的效率。

实验配置:

优化版部署在单机 GU120,原模型部署在双机 GU120,推理引擎为 vLLM;

数据集为 longalpaca-12k,输入token长度限定为3K,输出 token 长度限定为1K。

实验结果:

以下是在各类评测数据集的测试结果,对比 DeepSeek-R1 优化版的实测数据,和 DeepSeek-R1 原模型的实测数据,发现表现几近持平,证明了优化版模型的效果基本无损。


极简操作:三步开始高性能推理

    进入 Model Gallery 页面(链接:pai.console.aliyun.com/#/quick-sta…
      登录 PAI 控制台。在顶部左上角根据实际情况选择地域。在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间内。在左侧导航栏选择快速开始 > Model Gallery。

    部署优化版 DeepSeek-R1 模型

      在 Model Gallery 页面的模型列表中,搜索“DeepSeek-R1-PAI-optimized”,找到并点击进入模型详情页面。单击右上角部署。选择部署方式和部署资源后,即可一键部署服务,生成一个 PAI-EAS 服务。

    进行模型推理。

      部署成功后,在服务页面可以点击“查看调用信息”获取调用的 Endpoint 和 Token。点击模型介绍页,查看调用方式说明。

上阿里云PAI,使用更多DeepSeek衍生模型

除 DeepSeek-R1 满血版模型、 DeepSeek-R1 推理性能优化版模型外,PAI-Model Gallery 还提供以下衍生版本的模型,供不同需求场景下使用。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

DeepSeek-R1 模型优化 阿里云PAI 推理效率 AI部署
相关文章