掘金 人工智能 前天 13:48
大模型本地部署3种方式
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文详细介绍了将大模型部署至本地的多种方法,旨在满足用户对数据安全、资源可控性及深度研究的需求。文章重点讲解了三种主流的本地部署方案:Ollama + Cherry Studio、LM Studio,以及Ollama + Chatbox AI。通过提供清晰的操作步骤和界面截图,指导用户如何下载、安装相应的软件,并成功运行DeepSeek等模型。对于金融、医疗等高合规性行业以及需要进行模型深度研究的个人用户而言,本地部署提供了数据闭环管理和个性化定制的优势。此外,文章还附带了关于“Redis 7高性能缓存与分布式架构实战”教程的发布信息,为用户提供了进一步学习和提升的机会。

🎯 **数据安全与资源可控性是本地部署大模型的关键驱动因素**:对于金融、医疗等对数据安全和合规性要求极高的行业,以及需要进行深度模型研究的个人用户而言,将大模型部署到本地能够实现数据的闭环管理,有效避免敏感信息泄露,并提供更高的资源可控性和定制化能力。

🛠️ **Ollama + Cherry Studio 提供便捷的本地部署体验**:用户可以通过访问Cherry Studio官网下载并安装软件,然后利用Ollama运行指定的模型,例如`ollama run deepseek-r1:1.5b`。Ollama会自动完成模型的下载和运行,整个过程直观易懂,降低了本地部署的门槛。

🔍 **LM Studio 简化了模型的发现与下载过程**:LM Studio提供了一个用户友好的界面,用户可以轻松搜索并下载所需的模型,如DeepSeek-R1-Distill-Qwen-1.5B。下载完成后,LM Studio会弹出提示,确保用户了解模型已成功获取,为本地使用模型提供了便利。

💬 **Ollama + Chatbox AI 实现本地模型的集成与交互**:该方案允许用户在Chatbox AI中配置Ollama作为模型提供方,并通过添加模型来使用本地部署的大模型。这为用户提供了一个集成的聊天界面,可以直接与本地运行的大模型进行交互,提升了使用体验。

📚 **教程发布为技术学习提供增值服务**:除了大模型本地部署的技术分享,文章还提及了“Redis 7高性能缓存与分布式架构实战”教程的发布,该教程涵盖了Redis的入门、应用、高可用、性能优化等八大知识板块,旨在帮助用户全面掌握Redis技术,为技术学习者提供了进一步深造的资源。

大家好,我是袁庭新。

为什么要将大模型部署到本地呢?如果特别注重数据安全与资源可控性,可以将DeepSeek部署在本地,实现数据闭环管理,有效避免敏感信息外泄,这样的要求在金融、医疗等高合规性要求行业中普遍存在。

此外,对个人来说,如果希望基于模型进行深度研究,也要进行本地化部署。今天,给大家介绍3种大模型本地化部署方式。

Ollama + Cherry Studio本地部署大模型

打开Cherry Studio官网(cherry-ai.com),在Cherry Studio的主页点击右上角的「下载」选项,将会打开如下图所示的下载界面。

根据自己的操作系统版本,选择下载对应的Cherry Studio安装包;安装包下载完成后,双击安装包文件,完成Cherry Studio软件安装。

然后到启动台(或桌面)中寻找Cherry Studio图标并点击,能打开Cherry Studio主界面则安装成功。

下载Ollama。访问Ollama官网(ollama.com),进入网站后,如下图所示。

例如,要下载DeepSeek-R1-Distill-Qwen-1.5B模型,可以运行以下命令。

ollama run deepseek-r1:1.5b

运行上述命令后,Ollama会自动下载并运行该模型,模型安装完成后如下图所示。

使用LM Studio本地部署大模型

访问LM Studio下载页面(lmstudio.ai/download),根据你的操作系统版本下载一个安装程序。

打开LM Studio,点击发现按钮(放大镜按钮)然后在右侧界面里搜索DeepSeek-R1-Distill-Qwen-1.5B对应的模型,如下图所示。

这里,我们以DeepSeek-R1-Distill-Qwen-1.5B模型为例,演示如何进行下载,如下图所示。

模型下载完成后,LM Studio的右下角会弹出「Download Completed」窗口,表示指定模型下载完成。

使用Ollama + Chatbox AI本地部署大模型

打开Chatbox AI网站,网址为chatboxai.app/zh。进入网站后,单击“免费下载”按钮,如下图所示,将Chatbox AI安装包下载到本地。

在软件弹出的窗口中单击“使用自己的API Key或本地模型”按钮,在“选择并配置AI模型提供方”页面选择【Ollama API】选项,如下图所示。

在打开的模型提供方设置窗口中,点击右侧的“获取”按钮,在弹出的“编辑模型”窗口中,点击deepseek-r1:1.5b模型后的“+”按钮添加模型,如下图所示。

对于一些对数据安全性、隐私性或定制化要求较高的用户,本地部署是一种理想的选择。DeepSeek支持多种本地部署方式,以上的内容就是给大家详细介绍的如何在本地部署DeepSeek的方法。

教程发布

我的新《Redis 7高性能缓存与分布式架构实战》教程发布~这套教程总计涵盖了8大知识板块,共404节的内容。

先给大家概要下,本套教程共包含8大板块:Redis 基础入门与实践、Redis应用与缓存开发实战、Redis 高可用与分布式集群、Lua编程实战开发、多级缓存架构设计、精通Redis性能优化、Redis原理深度解析、Redis大厂高频面试问题。

教程《Redis 7高性能缓存与分布式架构实战》现已发布,通过访问下方地址开展学习(WChat H5):

https://h5.htknow.com/#/pages/courseInfo/bigSeriesDetail/bigSeriesDetail?id=7662335

希望这套教程对你有帮助,旨在帮助学员全面掌握Redis 7的高性能缓存及分布式架构实战技巧。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

大模型部署 Ollama LM Studio 本地化部署 AI技术
相关文章