HackerNews 15小时前
​提示词中间人攻击:ChatGPT 等 AI 工具的隐形威胁
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

网络安全领域出现新型威胁“提示词中间人攻击”,仅需一个浏览器扩展即可危害用户与ChatGPT、Gemini等主流生成式AI工具的交互。研究表明,恶意扩展能访问并修改用户发送给AI的提示词,无需特殊权限即可窃取敏感数据、外泄信息并绕过安全控制。该攻击向量利用了AI输入窗口的DOM可访问性,对企业用户而言风险极高,因其浏览器扩展安装率普遍较高。为应对此威胁,建议个人用户谨慎管理扩展,企业则需加强设备管控、隔离敏感数据并采用运行时安全解决方案。此攻击属于更广泛的提示词注入威胁,凸显了AI安全需覆盖用户界面和浏览器环境的重要性。

🛡️ **“提示词中间人攻击”的出现**:一种新型网络安全威胁,利用浏览器扩展,无需特殊权限,即可访问、修改用户发送给ChatGPT、Gemini等主流生成式AI工具的提示词,从而窃取数据、外泄信息或操控AI行为。

💻 **攻击的实现原理**:攻击者利用了AI工具输入窗口的DOM(文档对象模型)可访问性。任何能够访问DOM的浏览器扩展都可以读取或修改用户发送给AI的请求,而用户通常难以察觉,因为攻击发生在提示词发送至AI服务器之前,能绕过常规安全防护。

🏢 **企业用户面临的严峻风险**:99%的企业用户浏览器中至少安装一个扩展程序,这意味着极高的风险敞口。攻击可能导致敏感数据(如源代码、财务信息)泄露,AI响应被操控,以及绕过防火墙和数据防泄露系统。

🔒 **防护措施与建议**:个人用户应定期检查并卸载不必要的浏览器扩展,避免安装来源不明的扩展。企业应禁用或严格监控公司设备上的扩展,隔离敏感数据,并考虑采用运行时安全解决方案、提示词签名和来源标注技术来增强安全性。

🧠 **提示词注入的广泛威胁**:此类攻击是更广泛的提示词注入威胁的一部分,被列为AI系统面临的最严重威胁之一。即使是看似无害的外部内容也可能包含针对AI的隐藏指令,操控AI行为。

HackerNews 编译,转载请注明出处:

网络安全领域正面临一种新型威胁的警示——“提示词中间人攻击”(Man-in-the-Prompt),这种攻击能够危害用户与主流生成式人工智能工具的交互,包括ChatGPT、Gemini、Copilot和Claude等。最令人担忧的是,这种攻击甚至不需要复杂的技术手段,仅需一个浏览器扩展即可实施。

LayerX安全研究员Aviad Gispan解释道:“研究表明,任何浏览器扩展——即使没有特殊权限——都能访问商业和内部LLM(大语言模型)的提示词,并通过注入恶意提示词来窃取数据、外泄信息并掩盖痕迹。我们已在所有主流商业LLM上验证了这一漏洞,并为ChatGPT和Google Gemini提供了概念验证演示。”

什么是“提示词中间人攻击”?

LayerX安全专家用这个术语描述一种新型攻击向量,它利用了AI聊天机器人输入窗口这一被低估的弱点。当我们在浏览器中使用ChatGPT等工具时,输入的信息实际上位于一个简单的HTML字段中,可通过页面的DOM(文档对象模型)访问。这意味着任何能访问DOM的浏览器扩展都能读取、修改或重写我们发送给AI的请求,而用户却浑然不觉。更关键的是,这类扩展甚至不需要特殊权限。

攻击原理剖析

  1. 用户在浏览器中打开ChatGPT或其他AI工具
  2. 恶意扩展拦截即将发送的文本
  3. 修改提示词,例如添加隐藏指令(提示词注入)或从AI响应中窃取数据
  4. 用户收到看似正常的回复,但实际上数据已被窃取或会话已被入侵

该技术已被证实适用于所有主流AI工具,包括:

  1. ChatGPT(OpenAI)
  2. Gemini(Google)
  3. Copilot(Microsoft)
  4. Claude(Anthropic)
  5. DeepSeek(中国AI模型)

具体风险分析

报告指出,这种攻击可能造成严重后果,尤其对企业用户:

  1. 敏感数据窃取: 若AI处理的是机密信息(源代码、财务数据、内部报告),攻击者可通过修改提示词读取或提取这些信息。
  2. 响应操控: 注入的提示词可改变AI的行为模式。
  3. 安全控制绕过: 攻击发生在提示词发送至AI服务器之前,因此能绕过防火墙、代理和数据防泄露系统。

据LayerX统计,99%的企业用户浏览器中至少安装了一个扩展程序,这意味着风险敞口极大。

防护措施建议

  1. 个人用户应采取:
    • 定期检查并卸载非必要的浏览器扩展。
    • 避免安装来源不明或不可靠的扩展。
    • 尽可能限制扩展权限。
  1. 企业用户应实施:
    • 在公司设备上禁用或严格监控浏览器扩展。
    • 尽可能将AI工具与敏感数据隔离。
    • 采用运行时安全解决方案监控DOM并检测输入字段篡改。
    • 对提示词流进行专项安全测试,模拟注入攻击。
    • 采用新兴的“提示词签名”技术:在发送前对提示词进行数字签名以验证完整性。
    • 实施“来源标注”技术,区分可靠内容与潜在篡改。

更广泛的问题:提示词注入

“提示词中间人攻击”属于更广泛的提示词注入威胁范畴,根据OWASP 2025年十大LLM安全风险,这是AI系统面临的最严重威胁之一。这类攻击不仅限于技术手段——即使是看似无害的外部内容(如电子邮件、链接或文档注释)也可能包含针对AI的隐藏指令。例如:

核心启示

LayerX报告指出了一个关键问题:AI安全不能仅局限于模型或服务器层面,还必须涵盖用户界面和浏览器环境。在AI日益融入个人和企业工作流的时代,一个简单的HTML文本字段可能成为整个系统的致命弱点。

 

 

 


消息来源: securityaffairs

本文由 HackerNews.cc 翻译整理,封面来源于网络;

转载请注明“转自 HackerNews.cc”并附上原文

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

提示词中间人攻击 AI安全 浏览器扩展 提示词注入 生成式AI
相关文章