掘金 人工智能 04月29日 13:33
PAI Model Gallery 支持云上一键部署 Qwen3 全尺寸模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文介绍了Qwen3系列大语言模型在阿里云PAI Model Gallery上的便捷部署方案。Qwen3模型在推理、指令跟随、Agent能力和多语言支持方面表现出色。PAI Model Gallery提供零代码一键部署、自动适配云资源、开箱即用API、全流程运维托管和企业级安全等特性,方便用户快速体验和应用Qwen3模型。文章还详细介绍了部署Qwen3-8B模型的步骤,并提供了不同型号模型部署所需的最低配置。

💡 Qwen3是新一代大语言模型,拥有Dense和MOE两种模型,在推理、指令、Agent能力和多语言支持方面有显著提升。它能在思考和非思考模式间切换,提升性能。

🚀 阿里云PAI Model Gallery集成了国内外优质的预训练模型,用户可以通过PAI实现从训练到部署再到推理的全流程,简化AI开发流程。

⚙️ PAI Model Gallery提供零代码一键部署Qwen3模型,自动适配云资源,部署后即可使用API,并提供全流程运维托管和企业级安全保障。

🛠️ 以Qwen3-8B模型为例,用户可以在Model Gallery中找到该模型,点击部署,选择计算资源,即可完成云上部署。部署成功后,通过服务页面获取Endpoint和Token进行调用。

📊 文章提供了不同Qwen3模型在SGLang和vLLM框架下的部署最低配置,以及支持的最大Token数,方便用户根据需求选择合适的配置。

模型简介

Qwen3 是 Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家(MOE)模型。基于广泛的训练,Qwen3 在推理、指令跟随、Agent 能力和多语言支持方面取得了突破性的进展,具有以下关键特性:

PAI Model Gallery 简介

Model Gallery 是阿里云人工智能平台 PAI 的产品组件,它集成了国内外 AI 开源社区中优质的预训练模型,涵盖了 LLM、AIGC、CV、NLP 等各个领域。通过 PAI 对这些模型的适配,用户可以以零代码方式实现从训练到部署再到推理的全过程,简化了模型的开发流程,为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。

PAI Model Gallery 访问地址:pai.console.aliyun.com/#/quick-sta…

阿里云 PAI Model Gallery 已同步接入Qwen3本次开源的所有模型,提供企业级部署方案。

✅ 零代码一键部署

✅ 自动适配云资源

✅ 部署后开箱即用API

✅ 全流程运维托管

✅ 企业级安全 数据不出域

一键部署 Qwen3 方案

⬇️ 立即体验 ⬇️

下面以 Qwen3-8B 模型部署为例(推理成本较低,可用于快速验证)。

    在 Model Gallery 模型广场找到 Qwen3-8B 系列模型,或通过链接直达该模型:pai.console.aliyun.com/?regionId=c…

    在模型详情页右上角点击「部署」,已支持SGLang、vLLM高性能部署框架。在选择计算资源后,即可一键完成模型的云上部署。

    部署成功后,在服务页面可以点击“查看调用信息”获取调用的 Endpoint 和 Token,想了解服务调用方式可以点击预训练模型链接,返回模型介绍页查看调用方式说明。

    使用推理服务。您可以在 PAI-EAS 推理服务平台上在线调试已部署好的 Qwen3 模型服务,从图中可以看出模型回复具备较好的思维链能力。

下表提供了部署所需的最低配置,以及使用不同机型部署时在不同推理框架上支持的最大 Token 数。

模型支持的最大 Token 数(输入+输出)最低配置
SGLang 加速部署vLLM 加速部署
Qwen3-235B-A22B32768(加 RoPE 缩放:131072)32768(加 RoPE 缩放:131072)8 卡 GPU H / GU120
(8 * 96 GB 显存)
Qwen3-235B-A22B-FP832768(加 RoPE 缩放:131072)32768(加 RoPE 缩放:131072)4 卡 GPU H / GU120
(4 * 96 GB 显存)
Qwen3-30B-A3B
Qwen3-30B-A3B-Base
Qwen3-32B
32768(加 RoPE 缩放:131072)32768(加 RoPE 缩放:131072)1 卡 GPU H / GU120
(96 GB 显存)
Qwen3-14B
Qwen3-14B-Base
32768(加 RoPE 缩放:131072)32768(加 RoPE 缩放:131072)1 卡 GPU L / GU60
(48 GB 显存)
Qwen3-8B
Qwen3-4B
Qwen3-1.7B
Qwen3-0.6B
Qwen3-8B-Base
Qwen3-4B-Base
Qwen3-1.7B-Base
Qwen3-0.6B-Base
32768(加 RoPE 缩放:131072)32768(加 RoPE 缩放:131072)1 卡 A10 / GU30
(24 GB 显存)

更多模型支持

除 Qwen3 全系列模型外,PAI-Model Gallery 持续提供开源社区热门模型快速部署、训练、评测实践。

推理性能提升,相同时延约束下,吞吐能提升492%;相同吞吐情况下, 首token时延直降86%,token间时延直降69%。

DeepSeek云端加速版发布,具备超高推理性能

PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型

云上一键部署通义千问 QwQ-32B 模型,阿里云 PAI 最佳实践

联系我们

欢迎各位小伙伴持续关注使用 PAI-Model Gallery,平台会不断上线 SOTA 模型,如果您有任何模型需求,也可以联系我们。您可通过钉钉扫描下方二维码(或搜索钉钉群号79680024618),加入PAI-Model Gallery用户交流群。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Qwen3 阿里云PAI 模型部署 大语言模型 AI
相关文章