亚马逊AWS在其生成式AI安全解决方案Amazon Bedrock Guardrails中推出了自动化推理检查功能，旨在解决生成式AI模型产生的幻觉问题，确保输出内容的准确性和可靠性。该功能基于数学和逻辑原理，通过形式化构建和验证政策规则，检查AI生成的回复是否符合既定的事实和逻辑。企业可以上传操作手册等文件，系统会自动分析并生成相应的逻辑规则，用于验证AI输出的准确性，并提供详细的逻辑解释和改进建议。这项技术可与提示词工程、检索增强生成等技术结合使用，提升生成式AI应用的准确性和可解释性，尤其适用于需要高度事实性的业务应用。

🤔 **自动化推理检查功能：**该功能基于数学和逻辑原理，通过检查系统行为是否符合预设规则，来确保生成式AI的输出结果准确可靠，并降低幻觉问题的风险。这与机器学习依靠数据预测的方式不同，它利用数学和逻辑方法进行验证。

📜 **形式化构建与验证政策规则：**企业可以将操作手册等文件上传至Amazon Bedrock，系统会自动分析文件内容并生成相应的逻辑规则，这些规则会被转化为形式逻辑，用于有效理解和运用，以验证生成式AI输出的准确性。

⚠️ **违反规则的标示与改进建议：**当系统发现回复内容违背政策规则时，会将其标示为无效，并提供详细的逻辑解释和改进建议，帮助用户理解问题所在并进行调整。

🔗 **与其他安全功能结合使用：**自动化推理检查可以与提示词工程、检索增强生成（RAG）和上下文检查等技术结合使用，形成多层级安全防护，进一步提升生成式AI的安全性。

🌍 **应用场景：**这项技术尤其适用于需要高度事实性的业务应用，例如人力资源、产品信息和操作流程等领域，确保AI生成的回复与组织内部规范一致，提升整体系统可靠性。

AWS宣布在其生成式人工智慧安全解決方案Amazon Bedrock Guardrails中，新增自動化推理檢查（Automated Reasoning checks）功能，目前以預覽版形式推出，避免生成式人工智慧回應中的事實性錯誤，尤其是來自模型的幻覺問題。Amazon Bedrock Guardrails整合內容過濾、個資去除與上下文檢查等功能，目的是要提升生成技術的安全性與可信度，而新增的自動化推理檢查進一步強化了該工具的準確性防護能力。自動化推理檢查是一項基於數學與邏輯的技術，主要用於檢查系統行為是否符合預期，而這與機器學習仰賴資料進行預測的方式不同，自動化推理運用數學和邏輯方法進行驗證，確保系統回應符合已定義的規則。AWS提到，他們已經將自動化推理應用於儲存、網路、虛擬化和加密等領域，而現在進一步擴展至生成式人工智慧，提供準確性保證。該技術的核心在於透過政策規則的形式化（Formal）建置與驗證，檢查生成式人工智慧是否遵循特定的事實與邏輯，例如在企業內部的應用，自動化推理檢查可用於檢驗與人力資源政策、產品資訊和操作流程相關的回應，確保輸出的內容與組織內部規範一致。企業可以將操作手冊等文件上傳至Amazon Bedrock，系統會自動分析文件內容並生成相應的邏輯規則。這些規則會被轉換成精確且結構化的數學或邏輯表達方式，也就是形式邏輯，使系統能夠有效理解並加以運用，以驗證生成式人工智慧輸出的準確性。當系統發現回應內容違背政策規則，則系統會標示為無效，並提供詳細的邏輯解釋與改進建議。這套機制也可以與提示詞工程、檢索增強生成（RAG）和上下文檢查結合使用，執行多層次安全防護。AWS表示，這項技術使得生成式人工智慧應用案例，能夠具有更高的準確性與可解釋性，特別適用於需要高度事實性的業務應用，而且該技術不僅提供防護功能，還能協助用戶分析並改進回應，逐步提升整體系統可靠性。自動化推理檢查目前已經在美西奧勒岡地區Amazon Bedrock Guardrails提供預覽版服務，官方計畫在未來數周內，將會在Amazon Bedrock控制臺開放註冊表單，供更多使用者測試。