掘金 人工智能 前天 10:32
三步本地部署大模型deep seek
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文介绍了如何通过Ollama框架,在本地快速部署和运行大语言模型。Ollama支持多种操作系统,简化了部署流程。文章详细讲解了下载Ollama、选择并下载Deepseek-r1模型,以及安装Chrome插件Page Assist以便更便捷地与模型交互的步骤。尽管本地运行效果受限于硬件,但仍可作为聊天助手使用。

💻 首先,安装Ollama。Ollama是一个开源的本地大语言模型运行框架,支持macOS、Windows、Linux等多种操作系统,简化了本地大模型部署流程。用户需要从Ollama主页下载对应操作系统的版本并安装。

💾 其次,下载模型。Ollama平台提供了多种大模型供用户选择,例如Llama、Gemma等。本文以Deepseek-r1为例,推荐选择参数为7b的版本,模型大小为4.7GB。用户通过终端命令安装并启动模型。

🌐 最后,安装浏览器插件。为了更方便地与模型交互,作者推荐安装谷歌浏览器插件Page Assist。安装完成后,用户即可在本地使用大模型进行交互,但需注意本地运行效果受限于硬件条件。

最近两年是大模型的爆发期,从chatgpt3推出,其强大的推理能力远超时人们的预期。25年1月国内deepseek上线,在推理、自然语言理解与生成、图像与视频分析、语音识别与合成、个性化推荐、大数据处理与分析、跨模态学习以及实时交互与响应等八大领域表现出色。本文只需要三步实现一个本地可用的大模型。

下载ollama

ollama是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计,并且支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。借助Ollama平台,用户能够轻松地在本地运行、管理和与大型语言模型进行交互。我们使用Ollama来部署大模型,能够大大简化简化部署操作。

打开:ollma主页,根据自己的操作系统下载对应的版本, 按照指示安装即可。

下载模型

打开模型列表,里面有各种大模型,比如Llama、Gemma以及最新的deepseek-r1模型。本文选择最近比较火的deepseek-r1为例,里面有蒸馏后不同参数数量的版本,以7b为例,参数规模达到了70亿,模型大小为4.7GB。

打开终端输入以下命令安装大模型并自动启动。

 / %ollama run deepseek-r1:7b

安装完成后看到如下提示,说明安装成功了,在终端能够交互式对话。

安装谷歌浏览器插件page Assist

使用终端交互还是不太方便,这里更加推荐使用谷歌浏览器插件。直接打开谷歌插件商店,搜索进行安装。当然,也支持本地插件安装,文末有网盘备份。

到这里就能够在本地玩大模型了。不过,受限于本地内存限制,本地效果对于满血版差太远了,就当个聊天助手来玩吧。不用的时候最好关掉,占着好几个G的内存,在终端使用ollama命令进行关闭。

hzjdemac@Mac-mini / % ollama psNAME              ID              SIZE      PROCESSOR    UNTIL              deepseek-r1:7b    0a8c26691023    6.0 GB    100% GPU     4 minutes from now    hzjdemac@Mac-mini / % ollama stop deepseek-r1:7b

更多ollama命令,使用ollama --help查看。

附件:Ollamah和pageassist百度网盘地址

参考:cloud.tencent.com/developer/a…www.runoob.com/ollama/olla…

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Ollama 大模型 Deepseek-r1 本地部署
相关文章