掘金 人工智能 04月01日 14:37
大模型本地部署
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文详细介绍了在Windows系统上部署Docker、Ollama和Ragflow的步骤。首先,确保系统满足虚拟化要求并安装WSL2。接着,安装Docker Desktop,配置Docker Engine。然后,安装Ollama,并部署大模型。最后,克隆Ragflow项目,通过Docker Compose部署,并配置模型供应商,搭建知识库,实现问答功能。文章还提到了Ragflow版本选择以及本地IP连接问题,并给出了企业级知识库的硬件建议。

💻 **环境准备**: 在Windows 10或11系统上安装Docker前,需确保开启虚拟化技术。通过任务管理器检查虚拟化是否已启用,若未启用,需在BIOS中开启。此外,启用Hyper-V、适用于Linux的Windows子系统和虚拟机平台,并设置WSL版本为2。

🐳 **Docker安装与配置**: 下载并安装Docker Desktop。安装完成后,需要配置Docker Engine,包括设置镜像加速器以加快下载速度。文中提供了阿里云、DaoCloud等多个镜像加速器的配置示例。

🧠 **Ollama安装与模型部署**: 下载Ollama并安装。安装完成后,通过命令`ollama list`查看已安装的大模型。可以使用`ollama run deepseek-r1:8b`命令部署大模型,以及`ollama run shaw/dmeta-embedding-zh:latest`安装嵌入式模型。

⚙️ **Ragflow部署与配置**: 克隆Ragflow项目,并切换到特定版本。通过Docker Compose部署Ragflow。登录Ragflow后,需注册用户,设置模型供应商,并添加LLM。对于本地部署的大模型,基础URL设置为本地IP,无需设置token。创建知识库时,需要设置嵌入式模型、选择切片方法和分段标识符。

💡 **Ragflow使用与版本建议**: 部署Ragflow时,注意选择v0.17.2版本,以避免模型供应商设置问题。如果本地IP连接超时,可以使用`host.docker.internal:11434`。文章还提到了企业级知识库的硬件建议,例如使用3090*3基于deepseek 8b模型进行搭建。

Docker安装

1)操作系统:Windows 10 64-bit: Pro, Enterprise, or Education (Build 15063 or later) 或Windows 11。

2)硬件:支持虚拟化技术的处理器和至少 4 GB 的内存。

3)虚拟化:确保 BIOS 中已启用虚拟化技术(如 Intel VT-x 或 AMD-V)。

如何查看是否开启了虚拟化技术:Ctrl+Alt+Delete,打开任务管理器,点击性能

如果没有开启虚拟化技术,在BIOS中开启虚拟化技术:

首先开机进入BIOS,一般机器是按F2,自己可以上网查看自己电脑到底是按哪个键,选择configuration按回车键进入。进行后选择蓝色的第三个Secure Virtual Machine Mode。按回车键进入后选择Enabled开启,然后再按回车键确认。选定后,在键盘上按F10保存,弹出一个对话框,选择OK,按回车键确认保存,然后电脑就会自动重启。虚拟化设置就打开了

如果已经开启虚拟化技术,就按照如下步骤:

1)在程序和功能的窗口的左上角选择启用或关闭windows功能勾选Hyper-V和适用于linux的windows子系统和虚拟机平台,点击确认,之后他会让你重启这样准备工作就完成了

2.安装 WSL21)查看自己的电脑是否安装了wsl,快捷键win+r,输入cmd,按enter键,输入命令:

wsl -l

2)如果没有安装好的话,就打开powershell并输入:

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

设置WSL版本

wsl --set-default-version 2

win系统需要下载 DockerDesktop

www.docker.com/products/do…

安装DockerDesktop后设置 Docker Engine地址

{  "builder": {    "gc": {      "defaultKeepStorage": "20GB",      "enabled": true    }  },  "experimental": false,  "registry-mirrors": [    "https://inhj05a1.mirror.aliyuncs.com",    "https://docker.m.daocloud.io",    "https://docker-0.unsee.tech",    "https://docker.hlmirror.com"  ]}

执行命令验证 docker是否安装成功

docker -v

Ollama安装

ollama下载地址,下载到本地,点击安装

ollama.com/download

使用 命令验证 ollama是否安装成功

ollama list

若本地已经安装了 大模型会有信息

使用命令部署大模型

  ollama run deepseek-r1:8b 

安装嵌入式模型

ollama run shaw/dmeta-embedding-zh:latest

Ragflow安装

部署Ragflow

ragflow官网 ragflow.io/docs/dev/

Clone到本地

git clone https://github.com/infiniflow/ragflow.git  cd ragflow/docker  git checkout -f v0.17.2

如果执行 git clone命令出现错误可能是网络问题

可以在 C:\Windows\System32\drivers\etc 中找到 hosts文件设置

140.82.112.4    github.com

找到 /ragflow/docker 在其目录下执行

docker compose -f docker/docker-compose.yml up -d

其中 ragflow0.17.1有坑,在模型供应商设置,添加大模型时找不到添加的大模型,建议使用0.17.2版本

使用命令查看 ragflow是否运行

docker  ps

登录 ragflow

http://127.0.0.1/login

注意 需要先注册用户

设置模型供应商

添加LLM

deepseek等属于聊天大模型,添加大模型时需要注意:模型名称: 需要和 输入 ollama list 命令展示的名称保持一致基础URL:是本地IP本地部署的大模型不用设置token

如果本地IP连接超时使用 host.docker.internal:11434

根据以上步骤添加嵌入式模型

创建知识库

点击知识库>点击创建知识库>设置嵌入式模型>选择切片方法>选择分段标识符

新增文件

点击按钮进行文件解析,解析过程会比较慢,机器使用会有点卡顿[32G 内存+ 3060 6G]

知识库问答

企业级知识库需要3090*3 基于 deepseek 8b模型进行搭建可以满足垂直领域需求

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Docker Ollama Ragflow 部署 Windows
相关文章