初见大模型
作为新手接触大模型后，LLM模型、Embedding模型、rank模型、vector模型等等选择上可谓是一步一个坑，迷茫的走在迷茫的大路上。总之各种途径去选择合适的模型，今天了解下向量数据库选择依据。
借鉴前人
学习之前先看看大家都在关注什么，主要看市面上那个火，大厂们关注那个、开源项目用的那个？为此看了dify、langchain、llama-index等框架里面默认用的那些。
- dify：默认使用的weaviate，可能主要考虑他是sass版本天然支持多租户。langchain: 提供的代码示例主要用了Chroma，可能考虑可以基于内存直接运行，直接上手测试网上关注度比较高的Faiss,weaviate、Milvus我司用的qdrant
选择合适的向量数据库
共性
- 都是能够实现基础的文本语义检索，支持多语言客户端在三方框架都有相应的支持多种部署方式（云原生、docker、本地等等）
现在聊聊他们各自的特点
| 数据库 | Qdrant | Weaviate | Milvus | Faiss |
|---|---|---|---|---|
| 开源且可自托管 | ✅ | ✅ | ✅ | ✅ |
| 开源协议 | Apache-2.0 | BSD | Apache-2.0 | MIT |
| 开发语言 | Rust | Go | Go, C++ | C++ |
| Github Stars （k） | 18.8 | 10.2 | 28.1 | 29.4 |
| 首次发布时间 | 2021 | 2019 | 2019 | 2017 |
| SDK客户端 | Python, JS, Go, Java, .Net, Rust | Python, JS, Java, Go | Python, Java, JS, Go | Python,Java,JavaScript,C++ |
| 托管云服务 | ✅ | ✅ | ✅ | ✅ |
| 内置文本嵌入 | ❌ | ✅ | ❌ | ❌ |
| 混合检索 | ❌ | ✅ | ✅表内多向量混合 | ✅ |
| 元信息筛选 | ✅ | ✅ | ✅ | ✅ |
| BM25支持 | ❌ | ✅ | ✅ | 倒排索引 |
| 文本搜索 | ✅ | ✅ | ❌ | ❌ |
| Langchain集成 | ✅ | ✅ | ✅ | ✅ |
| Llama-index集成 | ✅ | ✅ | ✅ | ✅ |
| Geo地理信息搜索 | ✅ | ✅ | ❌ | ❌ |
| 多租户支持 | ✅ | ✅ | ✅ | ❌ |
| 最大维度 | 无限制 | 65535 | 32768 | 无 |
| 索引种类 | HNSW | HNSW | ANNOY, FAISS, HNSW, ScANN | FAISS, HNSW |
| 分片 | 静态分片 | 静态分片 | 动态分片 | 不支持提供 |
| Facets（带有计数的聚合） | ❌ | ✅ | ✅ | ❌ |
| Rest API | ✅ | ✅ | ✅ | ❌ |
| 调用内置LLM用于RAG | - | ✅Generative Search | - | ❌ |
总结个人观点
| 数据库 | 说明 | 个人观点 |
|---|---|---|
| Qdrant | 1. 一个集合中可以存多种向量(图片、文字等）2. 资源占用相当少 | API简单易懂，有可视化页面，初学者友好，不支持混合检索，功能不够强大 |
| Weaviate | 1. 性能相对不错2. 支持内置嵌入3. 支持文本搜索4. GraphQL API5. 支持S3备份 | 功能强大，花活挺多，内置嵌入初学者没啥用，没有可视化页面也不友好 |
| Milvus | 1. 官方支持的可视化操作界面2. 较高的搜索准确率3. 丰富的SDK4. GPU加速 | 功能同样强大，支持GPU加速对大数据量友好，官网API稳定易懂，对比mysql学习 |
| Faiss | GPU加速的高速检索，特别擅长处理庞大数据集的快速最近邻搜索;2.适应不同技术风格的搜索技术 | 一直强调GPU加速，可能是真的强 |
检索方式对比
- Milvus：多向量搜索Weaviate: 混合搜索(向量检索+BM25关键词搜索)Qdrant：向量检索（关键字全文过滤）Faiss: 支持批量查询（GPU高效索引）
多向量检索：适合复杂的场景，例如当一个实体可以通过多个不同的向量表示时。这适用于同一数据（如一个句子）通过不同嵌入模型处理，或当多模态信息（如个人的图像、指纹和声纹）转换成各种向量格式的情况。通过表范围内的“多路召回”，并给这些向量分配权重，它们的综合作用可以明显增加召回能力，并提高搜索结果的有效性。
BM25和简单的关键词搜索有什么区别?
简单的关键词搜索通常基于词频：如果一个词在文档中出现，那么这个文档就被认为是相关的。这种方法可能只计算关键词的出现次数，并且所有关键词都被视为同等重要。
BM25则是基于IF-IDF（词频-逆文档率算法）采用更复杂的算法，不仅考虑词频，还考虑文档长度和词的逆文档频率（即在所有文档中的稀有程度）。这意味着BM25可以提供一个更为精细化的相关性评分，更好地反映查询与文档的匹配程度
综上所述
对于新人入门尝试可以使用drant，学习成本低。
具体还得看业务需求，是否有复杂的逻辑，比如多模态需求、前端开发能力等可以使用Milvus，社区也比较活跃。
个人对Weaviate接受程度不高，初学者学习有点费劲，但是网上weaviate的文章还是挺多的，于用生产。
参考文章https://blog.51cto.com/u_11908275/11170159
