谷歌 Vertex AI 推出新的 RAG 引擎

2025-02-12 14:01 辽宁

谷歌 Vertex AI 推出新 RAG 引擎，这是一项托管编排服务。它能简化大语言模型与外部数据源连接，支持从多源摄取数据等工作流，可通过 Python 绑定集成。

作者 | Sergio De Simone

译者 | 明知山

策划丁晓昀

Vertex AI RAG Engine 是一项托管的编排服务，旨在简化大语言模型与外部数据源的连接，它能够帮助模型保持数据更新，生成更贴合需求的答案，并有效减少幻觉。

根据谷歌的说法，新的 RAG Engine 是使用 Vertex AI 实现基于 RAG 的 LLM 的“理想选择”，它在 Vertex AI Search 的易用性与基于底层 Vertex AI API（如文本嵌入 API、排名 API 等）构建自定义 RAG 管道的强大功能之间取得了平衡。

Vertex AI RAG Engine 支持的总体工作流包含了从多种不同来源摄取数据的步骤：数据转换，例如在索引之前将数据拆分为块；嵌入处理，将文本转换为数值向量，以捕捉其语义和上下文；数据索引，构建针对搜索进行了优化语料库；基于用户提示词从知识库中检索相关信息；最后是生成内容，将原始用户查询与检索到的信息结合，生成最终输出。

使用 Vertex AI RAG Engine，你可以很容易地将所有这些步骤集成到自己的解决方案中。集成 Vertex AI RAG Engine 最简单的方式是使用它的 Python 绑定，这些绑定位于 google-cloud-aiplatform 包中。在设置 Google Cloud 项目并初始化 Vertex AI 引擎后，你可以使用 upload_file 或 import_file 方法快速从本地文件、Google Cloud Storage 或 Google Drive 中的文档创建语料库。

# Currently supports Google first-party embedding modelsEMBEDDING_MODEL = "publishers/google/models/text-embedding-004"  # @param {type:"string", isTemplate: true}embedding_model_config = rag.EmbeddingModelConfig(publisher_model=EMBEDDING_MODEL)

rag_corpus = rag.create_corpus(    display_name="my-rag-corpus", embedding_model_config=embedding_model_config)

rag_file = rag.upload_file(    corpus_name=rag_corpus.name,    path="test.txt",    display_name="test.txt",    description="my test file",)

在有了语料库之后，你就可以创建一个检索工具，然后将其连接到 LLM，并暴露出端点，你可以使用该端点查询增强后的模型：

# Create a tool for the RAG Corpusrag_retrieval_tool = Tool.from_retrieval(    retrieval=rag.Retrieval(        source=rag.VertexRagStore(            rag_corpora=[rag_corpus.name],            similarity_top_k=10,            vector_distance_threshold=0.5,        ),    ))

# Load tool into Gemini modelrag_gemini_model = GenerativeModel(    "gemini-1.5-flash-001",  # your self-deployed endpoint    tools=[rag_retrieval_tool],)

response = rag_gemini_model.generate_content("What is RAG?")

根据谷歌的说法，Vertex AI RAG Engine 特别适合用于个性化投资建议与风险评估、加速药物发现与个性化治疗计划制定，以及增强尽职调查和合同审查等场景。

检索增强生成（RAG）是一种用于 “锚定” 大语言模型的技术，即使其更适合特定用例或企业环境。RAG 的核心是从模型训练时无法访问的外部数据源中检索与特定任务相关的信息，并将这些信息与提示词一起提供给模型。或者也可以通过微调来“锚定”模型，这是一个使用外部数据重新训练模型的过程，即使在提示词中未明确指定，模型也能在每次查询时提供更贴合需求的结果。

锚定模型使其能够更好地理解查询的上下文，并提供额外特定于任务的信息，从而生成更好的答案。更具体地说，在企业数据场景中，锚定旨在通过安全地提供防火墙内的私有数据来克服 LLM 的局限性。

查看英文原文：

https://www.infoq.com/news/2025/01/google-vertes-ai-rag-engine/

会议推荐

在 AI 大模型技术如汹涌浪潮席卷软件开发领域的当下，变革与机遇交织，挑战与突破共生。2025 年 4 月 10 - 12 日，QCon 全球软件开发大会将在北京召开，以 “智能融合，引领未来” 为年度主题，汇聚各领域的技术先行者以及创新实践者，为行业发展拨云见日。现在报名可以享受 8 折优惠，单张门票立省 1360 元，详情可联系票务经理 18514549229 咨询。

今日荐文

“首席炒作官”Altman “碰瓷”摩尔定律引社区不满，1400万美元广告被批“都能训练3个DeepSeek V3了！”

DeepSeek一周：日活超豆包、云平台抢食算力、卖课疯赚；用AI大量替代员工？创始人声明；字节辟谣员工被送精神治疗|AI周报

大学生打头阵，马斯克用AI“大闹”联邦！拨钱靠微软Azure审、管理用机器人，企业抢单抢疯了？

“李飞飞团队 50 美元炼出 DeepSeek R1”被质疑，上海交大本科生新“低成本推理”或成新宠！

等不到 OpenAI 开源了！5 个工程师 24 小时手撸免费版 Deep Research，效果直追正主、过程全公开

你也「在看」吗？?

阅读原文

跳转微信打开

Fish AI Reader

FishAI

联系邮箱 441953276@qq.com

相关标签