本文详述了如何在本地环境中部署和使用AI大模型，以解决数据安全和隐私问题。通过结合Ollama进行模型调度和Dify进行流程编排，实现了知识库内容的本地化，用户可以通过聊天方式获取内部信息。文章提供了详细的技术原理、硬件及环境准备、模型选择建议，并分步骤介绍了Ollama和Dify的安装与配置过程，包括环境变量设置、模型下载、Docker Compose部署及管理员用户创建，旨在帮助用户快速搭建本地化的生成式AI应用。

💡 **本地化部署AI大模型满足安全与隐私需求**：文章指出，随着DeepSeek-R1等大模型的普及，个人和企业开始尝试本地化部署，以解决内部资料的安全和隐私问题。通过在本地环境中运行大模型，可以确保所有知识库内容不通过公网流转，用户能以对话方式查询内部信息，同时控制成本。

⚙️ **Ollama与Dify组合实现高效本地AI应用**：文章介绍了本地模型调度的核心工具Ollama，它能简化大模型的管理和部署。同时，引入了Dify作为开源的大语言模型应用开发平台，它融合了Backend as a Service和LLMOps理念，提供了Prompt编排、RAG引擎、Agent框架等功能，能够快速搭建生产级的生成式AI应用。

🖥️ **硬件与环境准备是关键**：成功部署AI大模型需要合适的硬件支持，文章列出了主机配置要求，包括支持CUDA的显卡（推荐48G显存）、CPU（不限）和内存（大于8G）。如果显存不足，Ollama可利用内存和CPU调度，但速度会显著下降。同时，需要安装Docker和Git等必备软件。

🚀 **Ollama安装与模型调度**：文章提供了Ollama的下载和安装指导，并详细说明了关键环境变量的配置，如OLLAMA_HOST、OLLAMA_KEEP_ALIVE、OLLAMA_MAX_LOADED_MODELS和OLLAMA_MODELS，这些设置对于模型的稳定运行和资源管理至关重要。随后，通过`ollama pull`命令下载了deepseek-r1:32b等模型，并通过`ollama run`进行测试。

🛠️ **Dify部署与应用搭建**：对于Dify的安装，文章推荐使用Docker Compose进行部署。用户需要克隆Dify源代码，复制并修改`.env.example`为`.env`配置文件，然后通过`docker compose up -d`命令启动所有服务。部署完成后，通过访问主机IP地址即可进入Dify界面，完成管理员用户的创建，为后续的AI应用开发打下基础。

本文较长，建议点赞收藏，以免遗失。更多AI大模型开发学习视频及资料，

都在这>>Github<<

前言

自从 DeepSeek-R1 火出圈以来，很多个人和公司开始尝试本地化部署，以解决原来一些内部资料安全和隐私问题；我们也尝试在本地进行相关部署，以验证本地知识库是否可行，最终达到以下目的：

所有知识库内容不通过公网流转；用户可以通过和智能助手聊天的方式来了解各种内部知识；在不增加太多的成本下实现；

技术原理

前置概念了解

大模型

系统推理模型Embedding 模型Rerank 模型语音转文字模型

本地模型调度

OllamavLLM

流程编排

Dify

知识库

RAG

硬件及环境准备

主机	配置	必备软件	说明
192.168.10.1	显卡：支持 CUDA 的显卡均可，显存根据模型大小选择，推荐大小 48G 显存
CPU：不限
内存：大于8G

注：如果没有足够大的显存，ollama 会使用内存和CPU进行模型调度，但速度非常慢； | - | 用于安装 Ollama |
| 192.168.10.2 | CPU：4核
内存：大于16G | Docker，Git | 用于安装 Dify |

模型选择

模型	作用
qwq	用于推理
deepseek-r1:32b	用于推理（备选）
bge-m3	用于处理知识库嵌入向量
qwen2.5:14b	用于分词

开始本地部署

安装 Ollama

Ollama 可以很好的管理和调度本地大模型，安装也相对简单；

官网下载地址：Download Ollama on macOS ；

根据操作系统选择合适的安装即可；

安装完成后需配置几个环境变量：

OLLAMA_HOST

设置为 0.0.0.0 表示所有主机都可以访问，当非本机访问时需要设置

OLLAMA_KEEP_ALIVE

表示模型在显存中保存的时间，设置为 24h 表示保留 24 小时

OLLAMA_MAX_LOADED_MODELS

同时加载模型最大数量，大于这个数量最早加载的模型会被卸载

OLLAMA_MODELS

模型文件保存目录，windows 默认在 C 盘，建议指定一个速度快的磁盘因模型文件很大，需要有足够的空间

Ollama 安装完成后，可以开始下载模型，可到官网进行模型选择：Ollama Search

使用以下命令下载模型：

    ollama pull deepseek-r1:32b

模型文件非常大，下载时需要保持网络畅通；

模型文件下载完成后，使用以下命令进行使用测试：

    ollama run deepseek-r1:32b

如果成功运行就可以进行对话了；

需要下载以下模型：

qwqbge-m3qwen2.5:14b

安装 Dify

如果只有 Ollama 无法很好的进行日常使用，还需要上层的工具来进行管理，这里就用到了 Dify

官网介绍

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。

由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。

目前 Dify 社区版的主要安装方式是使用 Docker Compose ，详情可参考官网：

Docker Compose 部署 - Dify Docs

克隆 Dify 源代码```
git clone github.com/langgenius/…

进入 Dify 源代码的 Docker 目录，并复制示例配置文件

cd dify/docker  cp .env.example .env

启动 Dify

    docker compose up -d

第一次需要从网络上拉取很多内容，所以速度比较慢，需耐心等待

观察所有容器的状态，没有错误表示启动完成，类似这样：

    [+] Running 11/11  ✔ Network docker_ssrf_proxy_network Created 0.1s  ✔ Network docker_default Created 0.0s  ✔ Container docker-redis-1 Started 2.4s  ✔ Container docker-ssrf_proxy-1 Started 2.8s  ✔ Container docker-sandbox-1 Started 2.7s  ✔ Container docker-web-1 Started 2.7s  ✔ Container docker-weaviate-1 Started 2.4s  ✔ Container docker-db-1 Started 2.7s  ✔ Container docker-api-1 Started 6.5s  ✔ Container docker-worker-1 Started 6.4s  ✔ Container docker-nginx-1 Started 7.1s

启动完成后，即可访问这台主机：

    http://192.168.10.2

第一次访问会提示创建管理员用户，输入需要的用户名和密码完成配置；