本文介绍了如何本地化部署 DeepSeek-R1 大模型，搭建一个内部知识库智能助手，确保数据安全和隐私。文章详细讲解了从硬件准备到软件安装，再到模型配置的全过程，包括 Ollama 和 Dify 的安装与使用。通过本地部署，用户可以通过与智能助手聊天的方式，便捷地获取内部知识，同时避免敏感信息泄露到公网。本方案旨在以较低成本，实现高效、安全的知识管理和利用。

⚙️ 本地化部署 DeepSeek-R1 大模型旨在解决内部资料安全和隐私问题，实现知识库内容不通过公网流转，并允许用户通过聊天方式获取内部知识。

🐳 使用 Ollama 管理和调度本地大模型，通过设置环境变量（如 `OLLAMA_HOST`，`OLLAMA_KEEP_ALIVE`，`OLLAMA_MAX_LOADED_MODELS`，`OLLAMA_MODELS`）来配置模型访问、缓存时间和存储位置，并通过命令 `ollama pull` 下载如 `deepseek-r1:32b` 等模型。

🧩 利用 Dify 作为上层管理工具，通过 Docker Compose 快速搭建 LLM 应用开发平台。Dify 融合了后端即服务和 LLMOps 的理念，简化了 AI 应用的构建过程，支持 Prompt 编排、RAG 引擎和 Agent 框架。

🚀 部署 Dify 的步骤包括克隆源代码、复制配置文件、启动 Docker 容器，并通过访问主机地址来初始化管理员用户，完成配置后即可开始使用。

📚 硬件配置方面，推荐使用支持 CUDA 的显卡（显存根据模型大小选择，推荐 48G），以及 CPU 和内存满足 Ollama 和 Dify 的运行需求。如果没有足够大的显存，Ollama 会使用内存和 CPU 进行模型调度，但速度会较慢。

目录

一、安装和准备二、配置模型和知识库三、助手搭建和使用

前言

自从 DeepSeek-R1 火出圈以来，很多个人和公司开始尝试本地化部署，以解决原来一些内部资料安全和隐私问题；我们也尝试在本地进行相关部署，以验证本地知识库是否可行，最终达到以下目的：

所有知识库内容不通过公网流转；用户可以通过和智能助手聊天的方式来了解各种内部知识；在不增加太多的成本下实现；

因篇幅较长，分开三篇编写：

一、安装和准备二、配置模型和知识库三、助手搭建和使用

技术原理

前置概念了解

大模型

系统推理模型Embedding 模型Rerank 模型语音转文字模型

本地模型调度

OllamavLLM

流程编排

Dify

知识库

RAG

硬件及环境准备

主机	配置	必备软件	说明
192.168.10.1	显卡：支持 CUDA 的显卡均可，显存根据模型大小选择，推荐大小 48G 显存 CPU：不限 内存：大于8G 注：如果没有足够大的显存，ollama 会使用内存和CPU进行模型调度，但速度非常慢；	-	用于安装 Ollama
192.168.10.2	CPU：4核 内存：大于16G	Docker，Git	用于安装 Dify

模型选择

模型	作用
qwq	用于推理
deepseek-r1:32b	用于推理（备选）
bge-m3	用于处理知识库嵌入向量
qwen2.5:14b	用于分词

开始本地部署

安装 Ollama

Ollama 可以很好的管理和调度本地大模型，安装也相对简单；

官网下载地址：ollama.com/download ；

根据操作系统选择合适的安装即可；

安装完成后需配置几个环境变量：

OLLAMA_HOST

设置为 0.0.0.0 表示所有主机都可以访问，当非本机访问时需要设置

OLLAMA_KEEP_ALIVE

表示模型在显存中保存的时间，设置为 24h 表示保留 24 小时

OLLAMA_MAX_LOADED_MODELS

同时加载模型最大数量，大于这个数量最早加载的模型会被卸载

OLLAMA_MODELS

模型文件保存目录，windows 默认在 C 盘，建议指定一个速度快的磁盘因模型文件很大，需要有足够的空间

Ollama 安装完成后，可以开始下载模型，可到官网进行模型选择：ollama.com/search

使用以下命令下载模型：

ollama pull deepseek-r1:32b

模型文件非常大，下载时需要保持网络畅通；

模型文件下载完成后，使用以下命令进行使用测试：

ollama run deepseek-r1:32b

如果成功运行就可以进行对话了；

需要下载以下模型：

qwqbge-m3qwen2.5:14b

安装 Dify

如果只有 Ollama 无法很好的进行日常使用，还需要上层的工具来进行管理，这里就用到了 Dify

官网介绍

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。

由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

目前 Dify 社区版的主要安装方式是使用 Docker Compose ，详情可参考官网：

docs.dify.ai/zh-hans/get…

克隆 Dify 源代码

git clone https://github.com/langgenius/dify.git

进入 Dify 源代码的 Docker 目录，并复制示例配置文件

cd dify/dockercp .env.example .env

启动 Dify

docker compose up -d

第一次需要从网络上拉取很多内容，所以速度比较慢，需耐心等待

观察所有容器的状态，没有错误表示启动完成，类似这样：

[+] Running 11/11✔ Network docker_ssrf_proxy_network  Created          0.1s ✔ Network docker_default             Created          0.0s ✔ Container docker-redis-1           Started          2.4s ✔ Container docker-ssrf_proxy-1      Started          2.8s ✔ Container docker-sandbox-1         Started          2.7s ✔ Container docker-web-1             Started          2.7s ✔ Container docker-weaviate-1        Started          2.4s ✔ Container docker-db-1              Started          2.7s ✔ Container docker-api-1             Started          6.5s ✔ Container docker-worker-1          Started          6.4s ✔ Container docker-nginx-1           Started          7.1s

启动完成后，即可访问这台主机：

http://192.168.10.2

第一次访问会提示创建管理员用户，输入需要的用户名和密码完成配置；