本文较长,建议点赞收藏,以免遗失。更多AI大模型开发学习视频及资料,
都在这>>Github<<
配置大模型
Dify
启动后,默认为空的,从 v1.0.0
开始所有模型库(包括 Ollama
)都要通过 插件
的形式安装
在 插件
-> 探索 Marketplace
-> 模型
中找到 Ollama
,点击 安装
等待安装完成后,刷新页面,点击管理员头像,选择 配置
,在 模型供应商
找到 Ollama
并点击 添加模型
填写模型信息,注意 Ollama
的地址
模型名称填写 Ollama
上的对应的 NAME
,可通过 ollama ls
查看已下载的模型,名称中的 :latest
标识不需要填写
NAME ID SIZE MODIFIEDgemma3:27b 30ddded7fba6 17 GB 11 days agoqwq:latest 38ee5094e51e 19 GB 2 weeks agoqwen2.5:32b 9f13ba1299af 19 GB 4 weeks agodeepseek-r1:70b 0c1615a8ca32 42 GB 4 weeks agoqwen2.5:14b 7cdf5a0187d5 9.0 GB 4 weeks agoqwen2.5:latest 845dbda0ea48 4.7 GB 4 weeks agodeepseek-r1:32b 38056bbcbb2d 19 GB 4 weeks agonomic-embed-text:latest 0a109f422b47 274 MB 4 weeks agobge-m3:latest 790764642607 1.2 GB 4 weeks agodeepseek-r1:1.5b a42b25d8c10a 1.1 GB 5 weeks agodeepseek-r1:7b 0a8c26691023 4.7 GB 5 weeks ago
依次添加以下模型
qwq
bge-m3
- 模型类型选择
Text Embedding
qwen:14b
添加完成后如下显示
确认基础模型都添加完成后,刷新页面,再回到系统配置的 模型供应商
页面;
在 系统模型设置
中配置系统默认模型
至此基础模型准备工作完成。
配置知识库
大模型准备完成后,就可以开始准备知识库了
知识库可以有很多种类型,可以是技术文档,公司制度等;Dify
目前支持多种格式的文件做为知识库来源,下面以 Word
文件为例;
打开 Dify
的 知识库
版块,点击 创建知识库
,选择 导入已有文本
选择已准备好的文件,点击 下一步
进入 文本分段与清洗
分段设置
有两种类型
通用
:默认的分段类型,适用于大多数场景父子分段
:适用于结构分明的文档,像制度文件等索引方式
一般选择 高质量
Embedding 模型
选择之前配置好的 bge-m3
,如果此处没有可选择的模型,说明之前模型配置有误,需重新配置;
检索设置
一般选择 混合检索
设置完成后,点击 保存并处理
,系统开始将文档进行分段和向量化;
知识库内的文档准备完成后,可对文档进行 召回测试
,测试将显示文本(问题)召回的文档
可以根据召回效果来对设置进行微调,找到一个适合的值;