掘金 人工智能 05月24日 14:53
Lm studio本地部署DeepSeek 及 部署后的性能调节
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文介绍了使用LM Studio在本地部署DeepSeek模型的方法,并针对常见问题提供了解决方案,例如Ollama下载失败、模型下载慢、C盘空间不足以及显卡资源无法充分利用等问题。文章详细讲解了LM Studio的下载安装、模型读取位置设置、DeepSeek模型文件下载,以及如何在LM Studio中选择和加载模型。此外,还介绍了模型加载性能的调节方法,包括上下文长度、显存资源占用和CPU线程数等参数的调整,旨在帮助用户更好地使用DeepSeek模型。

💾 LM Studio是一款免费的软件,用于本地部署、管理和调节AI模型,用户可以通过官网下载并一路下一步安装即可开始使用。

📁 用户可以自定义模型读取位置,建议设置在磁盘空间较大的位置,并按照“模型提供者/模型名称”的二级目录结构存放模型文件,方便管理。

🚀 通过魔塔社区或hf-mirror.com等国内镜像站点,用户可以快速下载DeepSeek模型文件,避免科学上网和下载缓慢的问题。

⚙️ LM Studio提供了丰富的模型加载参数调节选项,包括上下文长度、显存资源占用和CPU线程数,用户可以根据设备性能进行调整,以充分利用硬件资源。

0. 前言

讲到Ollama部署deepseek的方法,会有下面几方面问题:

    Ollama官网访问安装包下载失败下载deepseek模型文件过慢或失败在不进行环境配置的情况下,默认安装至C盘,导致空间不足一部分Nivida显卡无法吃满显存资源一部分AMD显卡替换rocm文件后无法启动

下面给大家介绍Lm studio本地部署DeepSeek的方法,并进行性能调节。以解决上述问题.

1. 下载及安装Lm studio

Lm studio 部署、管理、调节的软件,可以免费下载使用。

Lm studio官网:(点击访问官网):[lmstudio.ai/]

网盘文件名:LmStudio.exe

下载完成后,双击安装包一路下一步安装即可。

安装完成后,打开Lm studio,点击左上角skip跳过,进入模型对话界面。

2. 设置模型读取位置

修改语言

点击右下角设置图标,点击language,选择简体中文。

设置模型读取位置

点击左上角文件夹图标修改模型读取位置。可以设置为你磁盘空间比较大的位置。

点开对话框后,在你要选择的文件夹下,新建二级文件目录,如:/eogee/deepseek-8b。

这里的第一个目录是模型提供者,第二个目录是模型名称。都给可以自定义为任何内容,但需要注意每个模型要有一个单独的目录。

上图所示即为二级目录。

注意:前后一共三级目录,选择模型目录须选择最上层

3. 下载DeepSeek模型文件

访问魔塔社区(一个国内的开源模型社区,他不需要科学上网,也不需要使用镜像,可以直接下载模型,对国内用户友好),下载DeepSeek模型文件。

经其他群友分享及测试,在hf-mirror.com复制下载链接,在迅雷(无需登录账号、开通会员)中粘贴链接下载更快速(2025年2月13日新增)。

在搜索栏中搜索 deepseek-r1-8b-gguf,进入页面后,点击模型和文件,进入模型列表页面,选择合适的模型进行下载。

下载完成后,将模型移动到我们刚建好的模型读取目录中即可。

4. lm studio 选择并加载模型

在lm studio界面上方,选择你刚安装的模型,点击下方的按钮加载模型。

静等片刻,模型加载完成后,在下方的输入框就可以向deepseek提问了。

5. 模型加载性能性能调节(如何能吃满显存)

模型加载参数

响应参数

你可以通过右侧的 系统提示 设置每次提问的默认前缀。

设置 温度 来调整推理结果的 天马行空 程度,越高越离谱,越低越严谨,再非文学创作的情况下不建议调整。

其他设置项默认即可。

6. 近期主要问题总结

    如何给deepseek喂数据?我也在研究本地部署的意义是什么?如何让我的低参数模型回答的问题相对靠谱?联网搜索我要更换显卡以提升体验吗?兴趣使然不建议着急投资,先看看。如果有迫切需要,急于出产品或服务,可以考虑购买大显存高性价比的显卡。有哪些可能的应用方向?我也在摸索,又成果会及时向大家汇报。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

LM Studio DeepSeek 本地部署 模型优化
相关文章