复合AI系统凭借其多模型、多工具的协同方式，展现出传统单一AI难以匹敌的应对复杂问题的能力，引发了广泛关注和讨论。
本文从单体架构和微服务架构的演变切入，揭示了复合AI系统如何通过模块化的方式优化任务执行，提升灵活性与精准度。以Databricks Mosaic AI平台为例，作者Yared Gudeta分析了复合AI在维护系统中的应用实例，展示了该系统如何整合向量嵌入、图数据库和大语言模型以高效解决复杂问题。
（本文由OneFlow编译发布，转载请联系授权。原文：https://www.databricks.com/blog/generalists-specialists-evolution-ai-systems-toward-compound-ai）


作者 | Yared Gudeta

翻译｜张雪聃
OneFlow编译
题图由SiliconCloud平台生成

复合AI系统引起了广泛的关注与热议，且并不是空穴来风。复合AI系统将多个AI模型、工具和系统的最佳部分结合起来，以解决单一AI（无论其多么强大）可能难以有效应对的复杂问题。

1

从单体架构到微服务架构


在深入探讨复合 AI 系统的奥秘之前，让我们稍微回顾一下应用程序开发的演变。还记得单体应用的时代吗？庞大的、一体化的软件系统，处理所有的前端交互、后端处理和数据库管理，全部都在一个代码库中进行。虽然它功能强大，但也存在一些弊端。

单体架构的挑战：


    更新缓慢：对应用的某个部分进行微小修改时，需要重新部署整个系统。

    扩展问题：如果系统的某个区域负载过重，整个系统都必须扩展。

    单点故障：如果一个组件崩溃，整个系统可能都会受到影响。


这为微服务架构铺平了道路，微服务架构彻底改变了应用开发方式，允许企业将大型单体应用拆分为更小的、更独立的服务。每个微服务专注于某个特定的业务功能，如用户身份验证或库存管理，提供了单体系统无法匹敌的灵活性和可扩展性。

微服务的优势：


    更新更快：只需更新或部署某个微服务，不涉及其他部分。

    可扩展性：根据需求扩展各个服务。

    故障隔离：即使一个服务崩溃，其他服务仍然可以继续运行。


然而，微服务也并非没有挑战：

    开销更高：管理多个服务需要更多的协调处理和基础设施。

    时延：服务之间的通信可能会降低系统响应速度。

    一致性问题：保持跨服务数据同步变得棘手。



2

AI领域正在朝着相同方向发展


在AI领域，我们正在目睹类似的演变。像GPT-4和Llama这样的大语言模型（LLM）已经成为强大的通才，能够处理各种各样的任务。但就像单体应用一样，它们并不适合所有工作任务。

复合AI系统就是生成式AI版本的微服务架构。这些系统将AI任务分解为专业化的部分，而不是依赖一个庞大的模型来完成所有工作。相反，复合AI系统部署了多个模型、工具和组件，每个都针对特定任务进行优化。

复合AI系统为何如此有效：


    泛与专结合：大型基础模型提供广泛的见解，而专用模型则处理细分任务，如医疗诊断或实时网络安全威胁检测。

    模块化：需要新模型？只需替换模型，而不必重新训练整个系统。

    优化：模型和工具可以针对任务的特定部分进行微调，使整个系统更高效、更准确。


3

复合AI系统如何运作


那么，复合AI系统在实践中是什么样？我们可以想象一组AI模型，每个模型在特定领域表现出色，共同合作解决复杂任务：

1.多个模型：可以使用不同的语言模型，每个模型都针对特定任务或领域进行了优化；
2.外部工具：搜索引擎、API或数据检索系统可以向AI流水线提供丰富的信息；
3.任务协调器：决定何时以及如何使用各个模型或工具来完成手头的任务。

就像微服务革新了传统应用程序开发一样，这种模块化的方法使复合AI系统能够将复杂的挑战分解为更小、更易管理的步骤。

4

Mosaic AI：复合AI系统背后的力量


Mosaic AI引领复合AI系统发展的平台之一。它为企业提供构建生产级复合AI系统的工具，通过整合多个AI模型、数据检索系统和外部API来实现。

Databricks Mosaic AI的亮点：


    无缝集成：能够安全且轻松地连接内部数据源和外部工具，为模型提供丰富的上下文数据进行处理；

    可扩展性：通过Mosaic AI的模型服务，单个组件可以根据需求扩展；

    定制化：每个组件可以在自定义数据上进行微调，以确保更准确的结果。


5

为维护系统构建复合AI系统


为了更具体地说明，下图展示了一个由Databricks Mosaic AI驱动的维护系统。该系统旨在帮助故障排查机械设备、访问维修手册并提供上下文见解。


步骤分解：


1.手册拆分与存储：

    手册被拆分为小板块，并通过Databricks的嵌入模型转换为向量嵌入。这些嵌入存储在向量搜索索引中，以便快速检索。


2.历史数据收集与存储：

    系统收集维护日志、服务请求、库存数据以及来自工厂设备的物联网传感器读数。这些数据经过清洗和汇总后，存储在Medallion架构中，丰富的数据则会存储在图数据库中，其中存储了机器、零件、缺陷和错误代码等之间的关系。


3.构建复合AI系统：

    通过DsPy框架，AI协调多个组件：

    用户的问题（如“如何修复错误DF-3466？”）被转换为向量嵌入，并在向量数据库中的手册数据中进行搜索。

    同时，该问题通过微调的text-to-cypher Llama模型(https://huggingface.co/collections/tomasonjo/llama3-text2cypher-demo-6647a9eae51e5310c9cfddcf)转换为Cipher查询，用于查询图数据库，查看该错误是否曾被报告过以及如何修复，从而提供上下文见解。


4.响应总结：

    DsPy框架结合了手册和图数据库的响应，并且使用Llama基础模型为用户总结结果。


5.使用Mosaic AI进行部署：

    协调复合AI系统的DsPy框架会被部署在Databricks的模型服务上，以确保AI系统的可扩展性和安全性。Mosaic AI Gateway管理端点访问和安全性。


6.使用NLP生成常见问题解答：

    用户请求和响应的日志存储在Delta表中。通过NLP技术，系统识别、排序常见问题，并在类似问题出现时向用户提供解答。


这个维护系统是复合AI系统的完美示例，结合了向量嵌入、图数据库和大语言模型，能够高效、智能地解决复杂的用户问题。

6

未来属于复合AI


就像微服务改变了我们构建应用程序的方式一样，复合AI系统正在改变我们使用AI解决复杂问题的方式。通过多个专用模型和工具的协同工作，我们能够构建更灵活、高效且强大的AI系统。

借助像Databricks Mosaic AI这样的平台，企业可以大规模部署这些系统，确保其AI解决方案不仅处在前沿，而且是生产环境可用的。当可以拥有多个顶尖AI“天才”一起工作，一个“大脑”又怎么足够呢？AI的未来属于复合系统，新的阶段已经到来。

其他人都在看

邀请好友体验SiliconCloud，狂送2000万Token/人siliconflow.cn/zh-cn/siliconcloud

扫码加入用户交流群