掘金 人工智能 8小时前
【内含 OpenAI API 调用教程】超强逻辑推理能力,vLLM + Qwen-30B-A3B 登场!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文介绍了如何通过 OpenBayes 平台部署和使用 Qwen3 大型语言模型。Qwen3 是阿里 Qwen 团队发布的最新一代模型,具备强大的推理、多语言支持和代理能力。教程详细说明了如何在 OpenBayes 上克隆预置教程、通过 Web 前端界面与模型交互,以及使用 OpenAI API 和各种工具调用模型。此外,还提供了切换不同 Qwen3 模型的步骤。

💡 Qwen3 的核心特性:Qwen3 是 Qwen 系列的最新模型,在推理、指令遵循、多语言支持等方面有显著提升。它支持思考模式和非思考模式的切换,以适应不同场景的需求。

🚀 部署准备:用户需要在 OpenBayes 平台上克隆预置教程,平台会自动配置算力资源和镜像。用户可以选择按量付费或包日/周/月的方式。

💻 Web 界面交互:部署完成后,用户可以通过 Web 前端界面与 Qwen3 模型进行对话,体验其强大的语言处理能力。

🔑 OpenAI API 调用:教程提供了使用 OpenAI API 调用 Qwen3 的方法,包括 Python 代码、requests 库和 curl 命令。用户需要配置 API 地址和模型名称。

🔄 模型切换:教程详细介绍了如何切换不同的 Qwen3 模型,包括关闭旧模型服务和启动新模型。用户需要修改模型路径和名称。

Qwen3 项目是由阿里 Qwen 团队于 2025 年发布,相关技术报告为 「Qwen3: Think Deeper, Act Faster」

Qwen3 是 Qwen 系列中最新一代大型语言模型,提供全面的密集模型和混合专家 (MoE) 模型。 Qwen3 基于丰富的训练经验,在推理、指令遵循、代理能力和多语言支持方面取得了突破性进展。Qwen3 支持在思考模式(用于复杂逻辑推理、数学和编码)和 非思考模式(用于高效通用对话)之间无缝切换,确保在各种场景下的最佳性能;有显著增强的推理能力,在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ 和 Qwen2.5 指令模型。同时,Qwen3 支持 100 多种语言和方言,具有强大的多语言理解、推理、指令跟随和生成能力。

教程链接:go.openbayes.com/tU7Gi

使用云平台: OpenBayes

<openbayes.com/console/sig…>

首先点击「公共教程」,在公共教程中找到「使用vLLM+ Open-webUl 部署 Qwen3-30B-A3B 」,单击打开。

页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

平台会默认选配好原教程所使用的算力资源、镜像版本,不需要再进行手动选择。目前平台计费方式已经更新,大家可以按照需求选择「按量付费」或「包日/周/月」。点击「继续执行」,等待分配资源。

一、web 前端界面

数据和代码都已经同步完成了,大约等待 5 分钟后,启动访问地址

来到这个界面就可以与模型进行对话了。我们默认提供 A3B 模型,可在这里输入对话内容。

二、OpenAI API 调用

1.获取基础配置

1. 获取基础配置

# 必要参数配置BASE_URL = "<API 地址>/v1"  # 生产环境MODEL_NAME = "Qwen3-30B-A3B"  # 默认模型名称API_KEY = "Empty"  # 未设置API_KEY

获取 API 地址

2. 不同调用方式

2.1 原生 Python 调用

import openai# 创建 OpenAI 客户端实例client = openai.OpenAI(    api_key=API_KEY,  # 请替换为你的实际 API Key    base_url=BASE_URL  # 替换为你的实际 base_url)# 发送聊天消息response = client.chat.completions.create(    model=MODEL_NAME,    messages=[        {"role": "user", "content": "你好!"}    ],    temperature=0.7, )# 输出回复内容print(response.choices[0].message.content)# 方法2:requests库(更灵活)import requestsheaders = {    "Authorization": f"Bearer {API_KEY}",    "Content-Type": "application/json"}data = {    "model": MODEL_NAME,    "messages": [{"role": "user", "content": "你好!"}]}response = requests.post(f"{BASE_URL}/chat/completions", headers=headers, json=data)

2.2 开发工具集成

如 VScode 安装官方CLINE插件

2.3 curl 调用

curl <BASE_URL>/v1/chat/completions \  -H "Content-Type: application/json" \  -d '{    "model": <MODEL_NAME>,    "messages": [{"role": "user", "content": "你好!"}]  }'

四、切换模型

本教程默认使用 Qwen3-30B-A3B 模型,如需切换为 Qwen3-32B,请按以下步骤操作:

1. 关闭当前模型服务

在终端运行以下命令,找到 vllm 进程并关闭:

ps aux | grep vllm

找到进程号(PID),然后执行:

kill [PID]

2. 启动新模型

例如,启动 Qwen3-32B

vllm serve /input2/Qwen3-32B \  --tensor_parallel_size 1 \  --host 0.0.0.0 \  --port 8080 \  --gpu-memory-utilization 0.95 \  --max-num-seqs 16 \  --served-model-name Qwen3-32B \  --enable-reasoning \  --reasoning-parser deepseek_r1

修改说明:

完成后,新模型即可使用!

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Qwen3 大型语言模型 OpenBayes 模型部署 API调用
相关文章