前言
在当下AI技术迅猛发展的浪潮中,越来越多的企业和个人希望借助大模型来提升自身的知识管理与智能问答能力。DeepSeek-R1 作为国产开源大模型中的佼佼者,因其强大的语言理解能力而备受关注。而借助 Ollama 实现本地轻量化部署,再结合 RAGFlow 构建专属的企业知识库,已成为打造智能问答系统的热门方案。
本教程将带你从零开始,手把手完成从模型部署到知识库构建的全过程,涵盖环境配置、模型加载、文档解析、检索问答流程等关键步骤。无论你是开发者、AI爱好者,还是企业技术负责人,只需按照本教程一步步操作,即可轻松搭建属于自己的智能知识库系统。
本文搭建教程所涉及安装包等资料皆整理在这儿:pan.quark.cn/s/01ea87306…,大家只管吸收干货,下载安装包等累活儿就交给在下。
✅ 本文教程结构概览
🔹 一、Ollama 安装与模型部署
Ollama 官网下载安装
环境变量配置(OLLAMA_HOST、OLLAMA_MODELS)
DeepSeek-R1 模型安装(推荐 deepseek-r1:7b)
测试运行:ollama run deepseek-r1:7b
🔹 二、本地 Docker 安装与配置
Docker Desktop 安装
设置国内镜像源加速拉取速度
🔹 三、RAGFlow 本地部署
Git 克隆 RAGFlow(或使用资源包)
修改 .env 文件,选择完整版镜像(非 slim)
docker-compose 启动 RAGFlow
浏览器访问 http://localhost:80
Ollama 模型接入及默认模型配置
开放 11434 端口(详细 Windows 图文教程)
🔹 四、知识库创建与上传
后台界面新建知识库,选择解析方法
上传 .txt/.pdf/.docx 等文档
测试问答效果
@TOC
一、Ollama安装教程
首先,我们先来安装Ollama,实现DS本地轻量化部署,如果你想试着跑开源大模型,但又不想折腾环境,Ollama 是一个非常友好的起点。
Ollama是啥?做个简单科普。Ollama 是一个本地运行大语言模型(LLM)平台,它的主要作用是让你可以在自己的电脑上轻松运行各种开源大模型(比如 Llama、Mistral、Gemma 等),而不依赖云端服务。
1.1 下载Ollama
登录Ollama官网,点击下载安装包。
1.2 安装Ollama
安装包下载完毕之后,点击,再点击install,会出现下面这样的安装进程,默认C盘且无法更改安装地址 。
安装之后,电脑右下角会出现图标,如果不放心可以在CMD窗口输入ollama查看是否安装成功。
而且此时键入ollama list还是没有出现任何东西的。
1.3 配置环境变量
接下来需要配置环境变量,按照如下配置:
OLLAMA_HOST0.0.0.0:11434
变量名为OLLAMA_MODELS,变量值为F:\OllamaModels
,其中的变量值就是大模型下载存储的目录位置,最后点击确定即可,如下图所示:
OLLAMA_MODELSF:\OllamaModels
新建变量完整截图展示如下:
二、DS模型下载及安装
2.1 下载deepseek模型
回到Ollama官网,点击Models,选择deepseek-r1模型,官网地址
直接复制下面的指令,并粘贴在CMD窗口 (安装一个蒸馏的小版本7b)
例如:ollama run deepseek-r1:7b
因为我电脑配置太低,现在就演示安装一个蒸馏的小版本7b,我的本地配置: 16G内存,RTX2050 4G版本的显卡,大家可参考一下。
2.2 DeepSeek模型配置解读
官方推荐: 至少有 8 GB 的 RAM 可用于运行 7B 模型,16 GB 可用于运行 13B 模型,以及 32 GB 可用于运行 33B 模型。
DeepSeek-R1-7B,是通过R1蒸馏的小模型,在各方面超越了非推理模型如 GPT-4o-0513
显卡要求:
2.3 安装deepseek-r1:7b模型
根据自己的网络情况,等待一段时间后,看到提示success,表示ollama已经下载好deepseek-r1:7b,并启动成功。
下载R1模型后,会直接输出【success】字样。
显示success之后,再输入 ollama list 命令就会有如下显示:
我这里更推荐下载下面带版本号的蒸馏模型,方便后续搭建知识库的时候引用。
例如:ollama run deepseek-r1:7b
2.4 DS问答测试
初体验:deepseek-r1给我的初感觉像是个刚学会说话的孩子,和chatgpt最大的使用区别就在于会把思考的过程也事无巨细呈现出来,两段式的回复使其更具拟人的色彩。
想退出或者中断,你可直接【Ctrl + D】或者输入【/bye】指定即可。
如果已经退出交互命令,可以再次执行如下命令,进入对话:
ollama run deepseek-r1:7b
如上本地部署DeepSeek就已经完成本地化搭建啦。
三、Docker桌面版搭建教程
接着,我们来搭建本地知识库,好好听认真看,因为我只教学一遍。
首先我们需要本地先搭建一个docker客户端。
3.1 docker下载
Docker官网下载安装包:www.docker.com/products/do…
其中安装细节,这里就不一一赘述了。
温馨提醒,Windows安装过程中,会遇到比较多问题,需要耐心解决,网上都有对应的问题解决方案(因为我也是这么过来的)。例如:HyperV 组件支持、开启虚拟化服务功能、安装 WSL2 最新版本之类的。
3.2 修改镜像
记得添加国内镜像,不然下载速度很慢。
"registry-mirrors": [ "https://hub.rat.dev" ]
示例截图如下:
如上,本地docker客户端就搭建好了。
四、RAGFlow搭建教程
4.1 本地部署RAGFlow
部署完docker之后,我们便可以开始搭建RAGFlow啦,在搭建之前,我们先来简单了解下,RAGFlow是啥?
RAGFlow 是一款开源的检索增强生成(Retrieval-Augmented Generation,简称 RAG)引擎,专注于通过深度文档理解技术,提升对复杂格式文档的处理能力,广泛应用于企业知识库、智能问答、文档自动化处理等场景。RAGFlow 的系统架构包括知识构建流和问答检索增强流,涵盖文档解析、文本切片、向量化、索引构建、查询处理、多路召回、重排序、LLM 生成、引用追踪等模块。
4.2 下载RAGFlow
官方 GitHub 仓库:github.com/infiniflow/…
找到一个空文件,右键打开git Bash并使用下面的代码,进行git克隆(前提是已经下载好git),当然,肯定会考虑到有的同学git没有按照,如果没有也没关系,我把相关资源都放在了文末资料包中,大家尽管自取。
接着,我们进入已下载完的RAGFlow文件夹,进入docker文件夹,然后修改下.env 文件内的 RAGFLOW_IMAGE 变量,你可以通过设置 RAGFLOW_IMAGE=infiniflow/ragflow:v0.18.0 来下载 RAGFlow 镜像的 v0.18.0 完整发行版,默认的ragflow:v0.18.0-slim是没有带嵌入模型的,ragflow:v0.118.0带嵌入模型。
这里官方给出的文档,直接告诉我们了,带slim的是不带嵌入模型,这对我们后续搭建知识库是不方便的,默认带有嵌入模型我们便不需要再多搭建一套模型配置了。
4.3 启动RAGFlow
指定完版本之后,我们直接在RAGFlow的目录中输入cmd并回车。
在小黑窗中输入如下命令,使用 docker-compose.yml 启动项目,并在后台运行。
docker compose -f docker/docker-compose.yml up -d
等待数十分钟,显示如下界面即说明服务器启动成功。
接着服务器启动成功后再次确认服务器状态:如下代码的作用是查看 ragflow-server 容器的日志,并实时更新输出:
docker logs -f ragflow-server
出现下面的图标,代表服务器启动成功。
接着我们可以打开docker,可以看到其已经运行的镜像应用。
4.4 访问RAGFlow地址
打开浏览器,输入以下网址:
http://localhost:80
或者其他客户端访问可使用:部署机ip替换localhost。例如:http://10.66.65.10:80
注册一个账号并登录。 这里邮箱号随意,符合邮箱后缀即可。
4.5 模型配置
在RAGFlow界面点击右上角的头像,左侧找到模型提供商,选择Ollama。
在待添加中选择Ollama或者deepseek,我这里选择的是ollama,根据自己下载的模型名称,添加LLM
deepseek-r1:7bhttp://10.66.65.15:11434/100000
如果遇到如下报错,如何解决?
hint : 102Fail to access model(deepseek-r1:7b).**ERROR**: [Errno 111] Connection refused
大概率是你本地未开11434端口,你需要本地Windows开放11434入端口。
具体如何在Windows中开放端口??实操步骤如下:
4.6 Windows11防火墙如何开启端口?
4.6.1 打开防火墙高级设置
搜索并进入“Windows Defender 防火墙高级设置”(适用于Win10/Server)。
4.6.2 创建入站规则
选择“入站规则” → “新建规则” → 选择“端口” → 点击“下一步”。
4.6.3 配置端口和协议
选择TCP/UDP协议(根据需求),输入单个端口(如8080)、多个端口(如80,443)或范围(如6000-6100)。这里我们只开11434端口
4.6.4 允许连接
选择“允许连接” → 勾选适用的网络类型(域/专用/公用) → 输入规则名称(如“Open Port 11434”) → 完成。
4.7 设置默认模型
点击右上角的【设置默认模型】按钮打开配置弹窗,完成模型设置。
设置聊天模型与嵌入模型,这里嵌入模型使用自带的BAAI/bge即可。
4.8 如何关闭RAGFlow?
关闭ragflow服务器
docker compose -f docker/docker-compose.yml down
像下面这样,它会关闭 docker-compose.yml 里所有的容器,但不会删除数据卷和网络。
4.9 重启RAGFlow
重复上面的3个步骤:
五、知识库搭建
5.1 创建知识库
回到主界面,点击知识库并创建,输入一个知识库名称。
配置权限及嵌入模型即可,拉到最后点击保存。
这里的解析方法,需要根据自己的使用场景,自己选定,比如general方法支持的文件格式为DOCX、EXCEL、PPT、IMAGE、PDF、TXT、MD、JSON、EML、HTML。此方法将简单的方法应用于块文件:
系统将使用视觉检测模型将连续文本分割成多个片段。
接下来,这些连续的片段被合并成Token数不超过“Token数”的块。
5.2 上传知识库文件
搭建完知识库之后,再次点击进去,准备添加知识库文件。
例如,我现在创建一个txt文本,自定义了一个概念,模拟企业级别的概念应用。
引入文件之后需要点击解析。
显示如下的成功之后方可进行对话。
5.3 创建聊天助手
点击:聊天->新建助理,设置自己的聊天机器人。
创建对应的小助手名称与选择对应的知识库,这里可选多个知识库。
模型设置这里,选择已有的AI模型:
5.4 测试对话
这里我们选择对应的助手,然后新增一个对话,然后测试下,把你们刚才上传的文件内容进行询问,当我问及某概念的时候,它就会从数据库中提取相关信息,用deepseek-r1模型进行回答。
如上对话,很显然,回答的都对应上了!!
至此,你已经成功完成了本地大模型问答系统的全链路搭建。从模型部署到知识库构建,掌握了智能文档问答的核心技术路径。下一步?放入你企业内部资料,开始让 AI 为你答疑解惑吧!
六、相关资料及安装包
大家如有需要Ollama、docker等安装包,可通过文末关注微信公众号或者或私信我即可。这里同时也附上相关网盘链接,如果被和谐了,那就来「猿圈奇妙屋」找我要,聊天界面输入【DS资料包】即可免费获取。
七、其他
7.1 资源需求表(硬件建议)
模型版本 | 最小显存 | 建议内存 | 使用体验 |
---|---|---|---|
7B | 4GB+ | 16GB | 良好(适合入门) |
13B | 8GB+ | 32GB | 略卡顿 |
33B | 16GB+ | 64GB+ | 不推荐普通用户 |
🫵 Who am I?
我是bug菌,CSDN | 掘金 | InfoQ | 51CTO | 华为云 | 阿里云 | 腾讯云 等社区博客专家,C站博客之星Top30,华为云多年度十佳博主,掘金多年度人气作者Top40,掘金等各大社区平台签约作者,51CTO年度博主Top12,掘金/InfoQ/51CTO等社区优质创作者;全网粉丝合计 30w+;更多精彩福利点击这里;硬核微信公众号「猿圈奇妙屋」,欢迎你的加入!免费白嫖最新BAT互联网公司面试真题、4000G PDF电子书籍、简历模板等海量资料,你想要的我都有,关键是你不来拿。
-End-