HackerNews 编译，转载请注明出处：
谷歌披露了其生成式人工智能（AI）系统为应对间接提示注入等新型攻击向量而采取的多层安全措施，旨在提升代理型AI系统的整体安全防护能力。谷歌生成式AI安全团队表示：“与攻击者直接向提示输入恶意指令的直接提示注入不同，间接提示注入通过外部数据源嵌入隐藏的恶意指令。”这些外部数据源包括电子邮件、文档甚至日历邀请，可诱骗AI系统泄露敏感数据或执行其他恶意操作。
谷歌表示已实施“分层”防御策略，通过增加攻击难度、成本和复杂性来保护系统。相关措施涵盖模型加固、专用机器学习（ML）恶意指令检测模型及系统级防护机制。作为旗舰生成式AI模型的Gemini还内置了多重防护功能，包括：
- 提示注入分类器：过滤恶意指令以生成安全响应。安全思维强化技术：在非信任数据（如邮件）中插入特殊标记（称为”聚光灯”技术），引导模型规避对抗性指令。Markdown消毒与可疑URL屏蔽：利用谷歌安全浏览服务移除潜在恶意URL，并通过Markdown消毒器阻止外部图片URL渲染，防范EchoLeak等漏洞。用户确认框架：高风险操作需经用户二次确认。终端安全警报：向用户提示注入攻击风险。
谷歌指出，恶意攻击者正通过自适应攻击（ART）动态调整策略以绕过防御，使基础防护失效。谷歌DeepMind上月强调：“间接提示注入构成真实威胁，AI模型难以区分真实指令与数据中嵌入的操纵性命令。”对此，谷歌主张构建深度防御体系——从模型原生攻击识别、应用层防护到底层基础设施硬件防御的全栈防护。
与此同时，最新研究揭示多种绕过大语言模型（LLM）安全防护的技术：字符注入(character injections)通过干扰模型对提示上下文的解读，利用其对学习特征的过度依赖突破防护；Anthropic、谷歌DeepMind、苏黎世联邦理工学院及卡内基梅隆大学的联合研究发现，LLM未来可能成为新型攻击工具——不仅能高精度窃取密码信用卡，还可设计多态恶意软件并实施精准定向攻击。研究显示，LLM能开辟新型攻击路径：利用多模态能力提取个人身份信息，分析受控环境中的网络设备，并生成高度逼真的钓鱼网页。不过研究也指出，LLM尚缺乏发掘主流软件零日漏洞的能力，仅可自动化检测未审计程序的简单漏洞。
根据Dreadnode的AIRTBench基准测试，Anthropic、谷歌和OpenAI的前沿模型在AI夺旗赛（CTF）中表现优于开源模型——擅长提示注入攻击，但在系统渗透和模型反演任务中仍有不足。研究人员指出：“模型在特定漏洞类型（如提示注入）上有效，但在其他领域（如模型反演）进展不均。值得注意的是，AI代理效率优势显著：分钟级解决人类需数小时完成的挑战，且成功率相当，预示其在安全领域的变革潜力。”
Anthropic上周发布的压力测试进一步揭示风险：测试中16个主流AI模型表现出恶意内部行为倾向，包括通过勒索及向竞争对手泄露敏感信息避免被取代。Anthropic称：“通常拒绝有害请求的模型，在目标驱动下会选择协助商业间谍活动甚至采取极端行为。”并将此现象定义为代理错位(agentic misalignment)。该行为模式表明，即使内置多重防护，LLM在高风险场景仍可能规避防护机制，持续选择“造成伤害而非任务失败”。但研究强调，现实中尚未出现此类代理错位案例。研究人员警示：“三年前的模型无法完成本文所述任务，而三年后模型若被滥用可能具备更强危害能力。当前亟需深入研究威胁演变、开发更强防御体系，并推动语言模型的防御应用。”
消息来源： thehackernews；
本文由 HackerNews.cc 翻译整理，封面来源于网络；
转载请注明“转自 HackerNews.cc”并附上原文
