Cnbeta 2024年12月27日
研究称ChatGPT搜索可能欺骗、误导用户
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

英国《卫报》研究发现,ChatGPT搜索工具可能被隐藏内容操纵,导致其返回恶意代码或给出误导性评价。即使网页存在负面评价,ChatGPT在受到隐藏文本指令影响后,仍可能给出正面评价。这种“提示词注入”攻击利用隐藏文本改变ChatGPT的响应,并可能被恶意利用。该问题暴露了实时AI搜索产品面临的安全风险,引发了人们对相关技术被滥用的担忧。OpenAI表示正在不断改进以阻止恶意网站。

⚠️ChatGPT搜索工具可能被隐藏内容操纵,存在安全隐患,可能返回恶意代码或给出误导性评价。

📝“提示词注入”攻击利用隐藏文本改变ChatGPT的响应,即使页面存在负面评价,ChatGPT也可能给出正面评价。

🔍隐藏文本攻击是一种常见的风险,这次是首次被发现在实时AI搜索产品中出现,暴露了AI搜索的安全漏洞。

🛡️OpenAI表示正在使用多种方法阻止恶意网站,并不断改进,但并未对《卫报》的测试结果置评。

媒体发现,ChatGPT搜索工具可能被隐藏的内容操纵,并可能从其搜索的网站返回恶意代码。遭到隐藏文本攻击后,即使某个产品页面存在用户的差评,ChatGPT也无视,回应给予该产品正面评价。

OpenAI官宣全球上线ChatGPT搜索服务才一周,就被爆出存在安全隐患,可能欺骗、误导用户。

英国《卫报》日前公布的一项研究发现,ChatGPT搜索工具可能被隐藏的内容操纵,并可能从其搜索的网站返回恶意代码。该媒体认为,可能需要重新考虑相关技术被恶意利用的风险,例如它可能导致,即使某个产品页面存在用户的负面评价,ChatGPT也会无视这些差评,反馈用户的回应是该产品的正面评价。

《卫报》测试了,面对总结包含隐藏内容的网页这种要求,ChatGPT作出何种反应。这些隐藏内容可能包含来自第三方的指令,这些指令会改变 ChatGPT 的响应、也称为“提示词注入”(prompt injection),它还可能包含旨在影响 ChatGPT 响应的内容,例如大量隐藏的文本,谈论产品或服务的好处。

测试中,《卫报》让ChatGPT得到了一个虚假网站的URL,该网站看起来像是相机的产品页面,然后提问ChatGPT,这款相机是否值得购买。控制页面的ChatGPT响应给出了积极但平衡的评价,强调了一些人们可能不喜欢的功能。然而,当隐藏文本包含有关 ChatGPT 返回正面评价的指示时,ChatGPT真正给出的响应总是完全正面的。即使页面上有负面评价也是如此。由此可以发现,隐藏文本可用于覆盖实际评价。

有评论称,隐藏文本攻击是大语言模型(LLM)面临的一种常见风险,但这次似乎是此类风险首次被发现存在于在实时AI搜索产品。《卫报》称,在处理类似问题方面,搜索领域的一哥谷歌相比OpenAI经验更丰富。

OpenAI并未对上述《卫报》的测试发现置评,而是表示,在使用多种方法阻止恶意网站,并且正在不断改进。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

ChatGPT 安全隐患 提示词注入 隐藏文本 AI搜索
相关文章