Datawhale 02月01日
DeepSeek R1本地部署,小白教程来了!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文介绍了如何在本地部署DeepSeek-R1系列模型,并使用LM Studio工具进行API部署。首先,通过LM Studio下载并配置模型,解决Hugging Face下载源问题,替换为国内镜像源。接着,详细说明了如何下载DeepSeek-R1-Distill模型,并在LM Studio中进行对话测试。最后,讲解如何部署API服务,以便在其他应用中使用。该教程旨在帮助用户在DeepSeek遭受攻击无法使用时,仍能本地运行大模型。

🛠️ LM Studio是一款本地部署大模型的工具,支持跨平台使用,可在Windows、macOS和Linux系统上运行,强调本地化操作,确保数据隐私和安全。

🌐 为了解决Hugging Face下载源问题,需要修改LMStudio的两个文件,将默认下载地址替换为国内可访问的镜像源,才能顺利下载DeepSeek模型。

🤖 下载DeepSeek-R1-Distill模型后,可以在LM Studio中进行对话测试,即使显存较小,LM Studio也会使用内存加载部分参数,从而支持本地部署。

⚙️ 通过LM Studio的开发者界面,可以部署API服务,并进行设置,使得在Windows部署的LMStudio可以在WSL中访问到服务。

原创 不要葱姜蒜 2025-02-01 22:46 上海

 Datawhale干货 

作者:不要葱姜蒜,Datawhale成员

前天的文章《Zotero整合DeepSeek自动帮你读文献,教程来了!》中,有学习者问到有没有本地部署模型的教程,今天小白版他来了!

DeepSeek-R1

DeepSeek 开源了完整的 deepseek-r1 671B 的权重,同时也开源了一些蒸馏出来的小的Disstill 小模型。从论文给出的评测表看,蒸馏出的 qwen-14b 模型的能力完全不输 OpenAI-o1-mini。 

接下来,我们可以借助 LMStudio 本地部署 DeepSeek-R1-Disstill 系列模型,并部署 API 可以接入到 cursor 等 AI IDE 中。 

LMStudio

LM Studio 是一款功能强大的本地部署大模型的工具。LMStudio 强调本地化操作,确保数据隐私和安全,特别适合处理敏感数据的场景。它支持跨平台使用,能够在 Windows、macOS 和 Linux 系统上运行,满足不同用户的需求。无论是初学者还是资深开发者,LM Studio 都能提供灵活的工具和便捷的操作体验,助力机器学习项目的快速推进。

Step 1:下载LMStudio

大家可以在LMStudio的官网下载对应的安装包,支持 Windows,Linux,MacOS。 

?

Github Link: https://github.com/lmstudio-ai/lmstudio.js 

LMStudio 官网: https://lmstudio.ai/ 

注:请下载0.3.9版本,本教程仅适用于该版本。 

Step 2:更换模型下载源及模型下载路径

LMStudio 的默认模型下载地址为 Hugging Face 平台,但由于众所周知的原因,我们需要设置一下国内可访问的 HF 镜像源。一共需要修改两个文件。 

Step 2.1 :修改模型下载源

?

main_window.js 文件有点大,使用 windows 自带的文本编辑器打开可能会有点慢,建议使用 vscode 打开,全部替换。 

https://huggingface.co/
https://hf-mirror.com/

https://huggingface.co/全部替换为https://hf-mirror.com/,然后重新打开LMStudio即可。 

Step 2.2 :下载模型并进行对话

注:如果此处没有搜索结果的话,请返回上一步检查是否替换完全,或是检查电脑网络问题。 

我的设备是笔记本的 3060,显存 6G。LMStudio 加载模型,当你的显存不够用时,会使用内存加载一部分参数,所以显存小也是可以本地部署一下的。 

Step 2.3 :部署 r1 api

结语

希望这个教程可以帮到大家,在 DeepSeek 遭受 DDOS 攻击无法使用之时。 

一起“三连

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

DeepSeek-R1 LM Studio 本地部署 API服务 大模型
相关文章