文章强调了在AI时代，传统的监控方法已无法满足需求，需要引入高级AI可观测性系统来应对新挑战。文章指出，AI系统需要实时监控GenAI响应、数据质量、用户互动等关键指标，以检测毒性、幻觉，并确保合规性。高级AI可观测性系统通过用户交互监控、AI评估引擎等功能，帮助企业更好地管理AI系统，实现更智能、更快速的决策，从而在云原生时代保持竞争力。

🤖 传统可观测性工具的局限性：传统的监控系统主要关注CPU使用率等预定义指标，无法捕捉GenAI响应不准确或恶意用户输入等AI特有的问题，因此不适用于AI系统。

🛡️ AI系统面临的独特挑战：AI系统在“灰色地带”可能表现正常但响应可疑，数据质量和安全性也面临泄露敏感信息的风险。此外，用户互动、AI输出的毒性和幻觉，以及合规性问题都是需要重点关注的领域。

🔍 高级AI可观测性系统的关键功能：这种系统提供全面的用户交互监控，帮助识别问题并优化预算；实时检测和解决响应准确性差、延迟峰值等问题；以及通过AI评估引擎进行质量和安全评估，确保AI系统的稳定性和安全性。

💡 AI可观测性的未来发展趋势：未来，将代理AI集成到可观测性流程中，实现更高效的问题诊断和解决。对于企业而言，AI可观测性是保持竞争力的关键，能够确保AI环境的质量，并实现积极的业务成果。

AI时代，传统可观测性已死！监控GenAI响应、数据质量、用户互动成关键。高级AI可观测性系统，实时检测毒性、幻觉，保障合规，应对欧盟AI法案等挑战。AI评估引擎、用户交互监控不可少！拥抱AI-Native的可观测性，才能决胜云原生未来！

译自：Why AI Demands a New Approach to Observability

作者：Ariel Assaraf

AI 正在以我们几年前无法想象的方式改变着各行各业，从自动化客户服务到简化供应链管理。但是，随着这些令人兴奋的进步，新的挑战也随之而来。随着 AI 系统变得越来越融入日常业务运营，监控其性能、行为和决策过程的需求也变得空前重要。

根据美国国家标准与技术研究院 (NIST)的数据，AI 应用程序需要严格的监督，因为管理不当可能导致无法预见或不公平的结果。不幸的是，现有的可观测性解决方案存在不足，因为它们只关注性能，而不是 AI 独有的其他属性。

本文阐述了可观测性，定义了它是什么，为什么它对于管理 AI 系统至关重要，以及为什么传统方法不足。

那么，到底什么是可观测性？

可观测性平台帮助公司监控、分析和理解其系统的性能和健康状况，包括日志、指标和追踪。传统的监控系统跟踪服务器状态等基本指标或网络延迟。它们是传统网络监控解决方案的演变，但具有更广泛的范围和更高级的功能。这些平台通过使团队能够回答诸如“是什么导致了这些性能问题？”或“为什么会发生这种行为？”之类的问题，从而进一步扩展了监控。它提供了对系统健康状况和性能的更深入、可操作的见解，帮助团队在问题影响用户之前解决问题。

可观测性为企业提供了几个关键优势，例如加速问题解决和减少停机时间。它还可以帮助企业优化资源，在故障发生之前预测故障，并将系统健康状况与关键业务指标对齐。最终，可观测性是关于做出更智能、更快速的决策，以保持一切顺利运行。

为什么传统的可观测性工具不适用于 AI

AI 系统引入了一系列新的变量，需要仔细监控，尤其是在与 AI 模型实时与用户交互时。

传统的可观测性系统旨在跟踪预定义的指标，如 CPU 使用率，而不是捕获 GenAI 响应不准确或减轻恶意用户输入。这就是高级 AI 可观测性介入的地方，它提供了一种有效管理这些系统的方式，并确保它们按预期执行，重要的是，以合乎道德和安全的方式执行。

让我们更深入地了解 AI 系统的独特需求：

AI“灰色地带”：AI 为性能监控带来了独特的灰色地带。AI 系统可能看起来运行正常（例如，用户输入提示，AI 回答），但响应可疑。例如，如果一家公司的聊天机器人推广竞争对手的产品而不是自己的产品，则性能良好，但响应的内容存在问题。数据质量监控和安全性：至关重要的是，要确保 AI 不会泄露敏感信息，例如客户 PII、机密的业务数据或关于 AI 系统本身的专有信息——尤其是在不良行为者可能试图诱骗它这样做的情况下。用户互动：对 AI 有效性的真正衡量不仅需要深入了解系统的性能，还需要深入了解用户互动。虽然响应时间和准确性等指标很重要，但它们并不能提供完整的画面。关于 AI 对用户查询的响应的反馈至关重要，以便企业知道 AI 是否按预期响应并满足客户的需求。AI 输出问题：必须持续监控 AI 输出的毒性（即有害或冒犯性内容，如仇恨言论或带有偏见的语言）和幻觉，即模型生成误导性或虚假信息。如果没有适当的监督，这些问题可能会破坏用户信任，传播错误信息，并导致意想不到的后果。合规性：AI 系统必须遵守严格且不断发展的法规和合规性标准，这些标准很难跟上。其中包括欧盟人工智能法案、加州消费者隐私法案和其他几项法案。

为什么高级 AI 可观测性系统至关重要

专门为 AI 系统量身定制的可观测性工具通过以下功能解决这些独特的风险：

全面的用户交互监控： 提供对用户交互的完全可见性，包括对话历史记录、登录和令牌使用（即 AI 模型消耗的数据单元）。这种精细的跟踪有助于团队识别可疑的资源消耗、检测成本收割尝试（即查询垃圾邮件以提高 AI 系统的运营成本），并在不影响性能的情况下优化预算。实时问题检测和解决： 识别诸如响应准确性差、延迟峰值和恶意用户输入等问题。这使团队能够在表现不佳的 AI 代理对用户体验产生负面影响之前解决它们。AI 评估引擎： 包括质量和安全评估器，以及根据特定需求进行定制的能力。质量评估器分析用户和 AI 交互，以检测潜在问题，例如毒性和 AI 幻觉。同时，安全评估器持续监控潜在风险，从而能够及早识别并帮助保护 AI 系统免受恶意行为者的侵害。合规性和法规遵从性： 帮助企业掌握有关 AI 准确性、可靠性和合乎道德的使用方面不断发展的监管要求，同时减轻法律和声誉风险。

AI 可观测性的未来

随着 AI 系统变得越来越复杂，传统可观测性工具的局限性变得越来越明显。标准的可观测性解决方案仅关注性能，并非针对 AI 的独特挑战而设计，因此它们难以有效地跟踪和管理 AI 行为的细微差别。

幸运的是，新兴的可观测性平台正在被设计用来解决 AI 解决方案带来的独特挑战，从而更深入地了解用户交互和风险，例如毒性、幻觉和安全漏洞。

我们预计很快会看到的一个令人兴奋的进展是将代理 AI 集成到可观测性流程中。这将是一个改变游戏规则的举措，代理能够以最少的人工协助来诊断和解决问题。

对于旨在保持竞争力的组织而言，AI 可观测性必须是其战略的核心组成部分。通过专注于 AI 特定的指标，企业可以确保无缝且高质量的 AI 环境，充分利用该技术的潜力，并实现积极、切实的业务成果。