DeepSeek-R1本地部署配置要求
Github地址:github.com/deepseek-ai…
模型规模 | 最低 GPU 显存 | 推荐 GPU 型号 | 纯 CPU 内存需求 | 适用场景 |
---|---|---|---|---|
1.5B | 4GB | RTX 3050 | 8GB | 个人学习 |
7B、8B | 16GB | RTX 4090 | 32GB | 小型项目 |
14B | 24GB | A5000 x2 | 64GB | 专业应用 |
32B | 48GB | A100 40GB x2 | 128GB | 企业级服务 |
70B | 80GB | A100 80GB x4 | 256GB | 高性能计算 |
671B | 640GB+ | H100 集群 | 不可行 | 超算/云计算 |
扩展:
上面代表的是什么含义,首先我们知道671B的模型才是基础模型,其余的1.5B、7B、8B等都是蒸馏模型,因此Qwen代表是通义千问模型蒸馏的,Llama是通过Llama模型蒸馏的
DeepSeek-R1 + ollama + open-webui本地部署
1.本次使用的操作系统,以及环境配置
操作系统:windows11
CPU: i7-11800H
内存:16GB
GPU:RTX3050ti 4G显存
2.安装ollama
ollama是一个支持在windows、linux和macos上本地运行的大模型工具
官方网址:Release v0.5.7 · ollama/ollama · GitHub
配置环境变量
测试是否安装成功,cmd命令行输入ollama
3.通过ollama 安装 DeepSeek-R1 8B模型
下载模型网址:deepseek-r1
在命令行输入:ollama run deepseek-r1:8b,即可下载相应模型,速度会慢一点
在命令行输入:ollama list,即可查看已经下载好的模型
在命令行输入:ollama run deepseek-r1:8b,运行下载好的模型
4.安装docker
Docker 官网:Docker: Accelerated Container Application Development
cmd 验证是否安装成功
配置docker镜像源
{ "builder": { "gc": { "defaultKeepStorage": "20GB", "enabled": true } }, "experimental": false, "registry-mirrors": [ "https://docker.m.daocloud.io", "https://docker.imgdb.de", "https://docker-0.unsee.tech", "https://docker.hlmirror.com", "https://docker.1ms.run", "https://func.ink", "https://lispy.org", "https://docker.xiaogenban1993.com" ]}
注意:如果windows docker 启动失败,一直 docker destop stopped,可以尝试升级wsl , cmd 输入 wsl --update
5.安装Ragflow
下载之后,要修改ragflow-main/docker/env配置文件,这里主要是将下载轻量版ragflow:v0.17.1-slim改为完整版ragflow:v0.17.1,完整版包含Embedding模型
# The RAGFlow Docker image to download.# Defaults to the v0.17.1-slim edition, which is the RAGFlow Docker image without embedding models.# RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.1-slim## To download the RAGFlow Docker image with embedding models, uncomment the following line instead:RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.1
cmd 进入 ragflow-main目录,执行 docker compose -f docker/docker-compose.yml up -d命令
安装完成
在浏览器输入 http://localhost:80即可完成启动
6.在Ragflow中配置ollama
添加ollama的deepseek-r1:1.5b模型
1.如果都是本地部署的ollama和ragflow,基础url可以为http:本机ip:11434
2.如果本地部署的ollama,docker部署的ragflow,推荐使用host.docker.internal:11434,因为ragflow是基于docker运行,但是ollama是直接安装在宿主机的(但是经过测试,都没有问题)
3.这里需要注意,API-Key一定要填写,哪怕为1,否则后续系统模型设置会无法调用
在系统模型设置中,配置deepseek-r1:1.5b
7.在Ragflow中配置知识库
上传文件,进行解析
原文链接:https://www.cnblogs.com/REN-Murphy/p/18769576