掘金 人工智能 前天 18:03
颠了,极速本地无痛部署实用级别大模型——实战教程
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文提供了一份在本地部署和使用 Qwen3 大模型的详细指南。Qwen3 以其卓越的性能,特别是在小尺寸模型上,展现出强大的竞争力。该指南涵盖了安装 Ollama 和 Cherry Studio 等必要软件,详细介绍了部署流程,包括通过 Ollama 运行 Qwen3 模型,以及在 Cherry Studio 中配置和验证模型。此外,文章还提供了注意事项,如显存和硬盘占用情况,以及可能遇到的问题和解决方案,帮助用户顺利在本地体验 Qwen3 的强大功能。

💡 **模型选择与性能**:Qwen3 系列模型因其卓越的性能而备受关注,特别是在小尺寸模型上表现出色,例如 Qwen3-4B 模型在编程能力上接近 GPT-4o(2024-11-20)版本。

⚙️ **部署准备:软件安装**:部署 Qwen3 模型需要安装 Ollama(支持 macOS/Linux/Windows)和 Cherry Studio(v1.2.10 及以上版本)。确保安装的是最新版本,以便获得最佳体验。

🚀 **部署流程:Ollama 部署**:通过 Ollama 部署 Qwen3:8b 模型。在终端中运行 `ollama run qwen3:8b` 命令。如果出现“model not found”提示,先执行 `ollama pull qwen3:8b` 拉取模型。

🖼️ **配置 Cherry Studio**:在 Cherry Studio 中添加模型配置,选择“Ollama 本地模型”,开启模型启用开关,并添加模型。模型名称必须与部署名称完全一致(qwen3:8b)。

✅ **模型验证与注意事项**:在 Cherry Studio 主界面切换模型并输入内容,验证模型是否正常响应。部署时,需注意模型对显存(约 8GB)和硬盘(约 7GB)的占用。如果遇到问题,检查 Ollama 服务是否运行、模型路径是否正确以及网络权限是否开放。

在本地部署与使用 Qwen3 的完整指南

qwen系列大模型开源,小尺寸模型超高性能成为又一王炸。官方如此说4b模型:“Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。”

仅4b模型,在编程方面可以说和GPT-4o(2024-11-20)版本打的有来有回。

前置条件

所涉及软件,均为开源。

    安装 Ollama(支持 macOS/Linux/windows)安装 Cherry Studio(要求 v1.2.10 以上版本)

⚠️ 我使用的都是当前最新版本,如有问题,可以评论区反馈

部署流程

第一步:通过 Ollama 部署 Qwen3:8b 模型

    打开终端,执行以下命令:
ollama run qwen3:8b

⚠️ 如果出现"model not found"提示,请执行 ollama pull qwen3:8b 先拉取模型

    观察部署过程:

⚠️ 如果有问题,可查看本地目录 ~/.ollama/models/manifests/registry.ollama.ai/library/ 是否生成 qwen3:8b 目录结构

配置 Cherry Studio

第二步:添加模型配置

    启动 Cherry Studio,点击 "齿轮" 按钮,进入设置页面进入模型管理界面配置参数(关键步骤):
      模型类型:选择 "Ollama 本地模型"开启模型启用开关点击 “添加”,添加模型模型名称:qwen3:8b(必须与部署名称完全一致)

⚠️ 若未找到模型,检查:

    Ollama 服务是否在运行(ollama serve)模型路径是否正确(可执行 find ~/.ollama -name qwen3 校验)网络权限是否开放(特别在 Linux 系统需要 sudo 权限)

第三步:验证模型状态

    在 Cherry Studio 主界面:
      切换模型输入框输入响应内容预期输出:Qwen3 的响应内容

注意事项

    模型占用约 8GB 显存,需确保 GPU 资源足够模型占用约 7GB 硬盘

ps:我使用的事mac book pro .

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Qwen3 大模型 本地部署 Ollama Cherry Studio
相关文章