从通才到专家：AI系统向复合AI的演变

Yared Gudeta 2024-11-01 13:03 中国

多个专用模型和工具协同，构建灵活、高效且强大的AI系统。

复合AI系统凭借其多模型、多工具的协同方式，展现出传统单一AI难以匹敌的应对复杂问题的能力，引发了广泛关注和讨论。

本文从单体架构和微服务架构的演变切入，揭示了复合AI系统如何通过模块化的方式优化任务执行，提升灵活性与精准度。以Databricks Mosaic AI平台为例，作者Yared Gudeta分析了复合AI在维护系统中的应用实例，展示了该系统如何整合向量嵌入、图数据库和大语言模型以高效解决复杂问题。

（本文由OneFlow编译发布，转载请联系授权。原文：https://www.databricks.com/blog/generalists-specialists-evolution-ai-systems-toward-compound-ai）

作者 | Yared Gudeta

翻译｜张雪聃

OneFlow编译

题图由SiliconCloud平台生成

复合AI系统引起了广泛的关注与热议，且并不是空穴来风。复合AI系统将多个AI模型、工具和系统的最佳部分结合起来，以解决单一AI（无论其多么强大）可能难以有效应对的复杂问题。

从单体架构到微服务架构

在深入探讨复合 AI 系统的奥秘之前，让我们稍微回顾一下应用程序开发的演变。还记得单体应用的时代吗？庞大的、一体化的软件系统，处理所有的前端交互、后端处理和数据库管理，全部都在一个代码库中进行。虽然它功能强大，但也存在一些弊端。

单体架构的挑战：

更新缓慢：对应用的某个部分进行微小修改时，需要重新部署整个系统。

扩展问题：如果系统的某个区域负载过重，整个系统都必须扩展。

单点故障：如果一个组件崩溃，整个系统可能都会受到影响。

这为微服务架构铺平了道路，微服务架构彻底改变了应用开发方式，允许企业将大型单体应用拆分为更小的、更独立的服务。每个微服务专注于某个特定的业务功能，如用户身份验证或库存管理，提供了单体系统无法匹敌的灵活性和可扩展性。

微服务的优势：

更新更快：只需更新或部署某个微服务，不涉及其他部分。

可扩展性：根据需求扩展各个服务。

故障隔离：即使一个服务崩溃，其他服务仍然可以继续运行。

然而，微服务也并非没有挑战：

开销更高：管理多个服务需要更多的协调处理和基础设施。

时延：服务之间的通信可能会降低系统响应速度。

一致性问题：保持跨服务数据同步变得棘手。

AI领域正在朝着相同方向发展

在AI领域，我们正在目睹类似的演变。像GPT-4和Llama这样的大语言模型（LLM）已经成为强大的通才，能够处理各种各样的任务。但就像单体应用一样，它们并不适合所有工作任务。

复合AI系统就是生成式AI版本的微服务架构。这些系统将AI任务分解为专业化的部分，而不是依赖一个庞大的模型来完成所有工作。相反，复合AI系统部署了多个模型、工具和组件，每个都针对特定任务进行优化。

复合AI系统为何如此有效：

泛与专结合：大型基础模型提供广泛的见解，而专用模型则处理细分任务，如医疗诊断或实时网络安全威胁检测。

模块化：需要新模型？只需替换模型，而不必重新训练整个系统。

优化：模型和工具可以针对任务的特定部分进行微调，使整个系统更高效、更准确。

复合AI系统如何运作

那么，复合AI系统在实践中是什么样？我们可以想象一组AI模型，每个模型在特定领域表现出色，共同合作解决复杂任务：

1.多个模型：可以使用不同的语言模型，每个模型都针对特定任务或领域进行了优化；

2.外部工具：搜索引擎、API或数据检索系统可以向AI流水线提供丰富的信息；

3.任务协调器：决定何时以及如何使用各个模型或工具来完成手头的任务。

就像微服务革新了传统应用程序开发一样，这种模块化的方法使复合AI系统能够将复杂的挑战分解为更小、更易管理的步骤。

Mosaic AI：复合AI系统背后的力量

Mosaic AI引领复合AI系统发展的平台之一。它为企业提供构建生产级复合AI系统的工具，通过整合多个AI模型、数据检索系统和外部API来实现。

Databricks Mosaic AI的亮点：

无缝集成：能够安全且轻松地连接内部数据源和外部工具，为模型提供丰富的上下文数据进行处理；

可扩展性：通过Mosaic AI的模型服务，单个组件可以根据需求扩展；

定制化：每个组件可以在自定义数据上进行微调，以确保更准确的结果。

为维护系统构建复合AI系统

为了更具体地说明，下图展示了一个由Databricks Mosaic AI驱动的维护系统。该系统旨在帮助故障排查机械设备、访问维修手册并提供上下文见解。

步骤分解：

1.手册拆分与存储：

手册被拆分为小板块，并通过Databricks的嵌入模型转换为向量嵌入。这些嵌入存储在向量搜索索引中，以便快速检索。

2.历史数据收集与存储：

系统收集维护日志、服务请求、库存数据以及来自工厂设备的物联网传感器读数。这些数据经过清洗和汇总后，存储在Medallion架构中，丰富的数据则会存储在图数据库中，其中存储了机器、零件、缺陷和错误代码等之间的关系。

3.构建复合AI系统：

通过DsPy框架，AI协调多个组件：

用户的问题（如“如何修复错误DF-3466？”）被转换为向量嵌入，并在向量数据库中的手册数据中进行搜索。

同时，该问题通过微调的text-to-cypher Llama模型(https://huggingface.co/collections/tomasonjo/llama3-text2cypher-demo-6647a9eae51e5310c9cfddcf)转换为Cipher查询，用于查询图数据库，查看该错误是否曾被报告过以及如何修复，从而提供上下文见解。

4.响应总结：

DsPy框架结合了手册和图数据库的响应，并且使用Llama基础模型为用户总结结果。

5.使用Mosaic AI进行部署：

协调复合AI系统的DsPy框架会被部署在Databricks的模型服务上，以确保AI系统的可扩展性和安全性。Mosaic AI Gateway管理端点访问和安全性。

6.使用NLP生成常见问题解答：

用户请求和响应的日志存储在Delta表中。通过NLP技术，系统识别、排序常见问题，并在类似问题出现时向用户提供解答。

这个维护系统是复合AI系统的完美示例，结合了向量嵌入、图数据库和大语言模型，能够高效、智能地解决复杂的用户问题。