掘金 人工智能 前天 18:33
DeepSeek R1 + ollama + ragflow 使用 docker 部署(Windows)
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文介绍了如何在本地部署DeepSeek-R1大模型,并结合ollama和open-webui搭建环境。文章详细阐述了操作系统的选择、ollama的安装与配置、DeepSeek-R1模型的下载与运行,以及Docker的安装与镜像源配置。此外,还介绍了Ragflow的安装与配置,包括修改配置文件、启动Docker Compose,并在Ragflow中配置ollama模型和知识库。通过本文,读者可以了解如何在本地搭建一个可用的DeepSeek-R1环境。

💻DeepSeek-R1模型对硬件有一定要求,不同规模的模型对GPU显存和CPU内存有不同的需求,例如1.5B模型推荐4GB显存,70B模型则需要80GB显存。

🐳Ollama是一个支持在Windows、Linux和macOS上本地运行大模型的工具,通过简单的命令行操作即可完成模型的下载和运行,例如使用`ollama run deepseek-r1:8b`命令即可下载并运行DeepSeek-R1 8B模型。

⚙️Ragflow是一个基于深度文档理解的RAG引擎,需要在安装后修改`ragflow-main/docker/env`配置文件,将轻量版镜像改为完整版镜像,以包含Embedding模型,并配置ollama的API-Key,才能在Ragflow中调用DeepSeek-R1模型。

DeepSeek-R1本地部署配置要求

Github地址:github.com/deepseek-ai…

模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景
1.5B4GBRTX 30508GB个人学习
7B、8B16GBRTX 409032GB小型项目
14B24GBA5000 x264GB专业应用
32B48GBA100 40GB x2128GB企业级服务
70B80GBA100 80GB x4256GB高性能计算
671B640GB+H100 集群不可行超算/云计算

扩展:

上面代表的是什么含义,首先我们知道671B的模型才是基础模型,其余的1.5B、7B、8B等都是蒸馏模型,因此Qwen代表是通义千问模型蒸馏的,Llama是通过Llama模型蒸馏的

 

DeepSeek-R1 + ollama + open-webui本地部署

1.本次使用的操作系统,以及环境配置

操作系统:windows11

CPU:  i7-11800H

内存:16GB

GPU:RTX3050ti  4G显存

2.安装ollama

ollama是一个支持在windows、linux和macos上本地运行的大模型工具

官方网址:Release v0.5.7 · ollama/ollama · GitHub

配置环境变量

 测试是否安装成功,cmd命令行输入ollama

3.通过ollama 安装 DeepSeek-R1 8B模型

下载模型网址:deepseek-r1

在命令行输入:ollama run deepseek-r1:8b,即可下载相应模型,速度会慢一点

在命令行输入:ollama list,即可查看已经下载好的模型

 在命令行输入:ollama run deepseek-r1:8b,运行下载好的模型

4.安装docker

Docker 官网:Docker: Accelerated Container Application Development

cmd 验证是否安装成功

配置docker镜像源

{  "builder": {    "gc": {      "defaultKeepStorage": "20GB",      "enabled": true    }  },  "experimental": false,  "registry-mirrors": [    "https://docker.m.daocloud.io",    "https://docker.imgdb.de",    "https://docker-0.unsee.tech",    "https://docker.hlmirror.com",    "https://docker.1ms.run",    "https://func.ink",    "https://lispy.org",    "https://docker.xiaogenban1993.com"  ]}

注意:如果windows docker 启动失败,一直 docker destop stopped,可以尝试升级wsl , cmd 输入 wsl --update

5.安装Ragflow

Ragflow 网址:GitHub - infiniflow/ragflow: RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine based on deep document understanding.

下载之后,要修改ragflow-main/docker/env配置文件,这里主要是将下载轻量版ragflow:v0.17.1-slim改为完整版ragflow:v0.17.1,完整版包含Embedding模型

# The RAGFlow Docker image to download.# Defaults to the v0.17.1-slim edition, which is the RAGFlow Docker image without embedding models.# RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.1-slim## To download the RAGFlow Docker image with embedding models, uncomment the following line instead:RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.1

cmd 进入 ragflow-main目录,执行 docker compose -f docker/docker-compose.yml up -d命令

安装完成

在浏览器输入 http://localhost:80即可完成启动

 

6.在Ragflow中配置ollama

添加ollama的deepseek-r1:1.5b模型

1.如果都是本地部署的ollama和ragflow,基础url可以为http:本机ip:11434

2.如果本地部署的ollama,docker部署的ragflow,推荐使用host.docker.internal:11434,因为ragflow是基于docker运行,但是ollama是直接安装在宿主机的(但是经过测试,都没有问题)

3.这里需要注意,API-Key一定要填写,哪怕为1,否则后续系统模型设置会无法调用

在系统模型设置中,配置deepseek-r1:1.5b 

 7.在Ragflow中配置知识库

 上传文件,进行解析

原文链接:https://www.cnblogs.com/REN-Murphy/p/18769576

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

DeepSeek-R1 本地部署 ollama Ragflow
相关文章