在黑帽大会上,研究人员展示了如何通过谷歌日历邀请中的间接提示词攻击连接到Gemini的人工智能助手,从而控制智能家居设备。攻击者利用用户请求日历概览并表示感谢的环节,植入恶意指令,使Gemini控制的家居AI执行开窗、关灯等操作。尽管谷歌表示此类攻击现实中极为罕见,但承认随着AI模型复杂性增加,防范难度加大。谷歌已获悉漏洞并正加速开发防护工具,旨在让用户未来能安心使用。
🎯 攻击者利用谷歌日历邀请中的间接提示词,成功绕过了AI助手的安全防护,控制了连接的智能家居设备。这项研究在黑帽大会上被展示,揭示了AI助手在与日历等服务集成时可能存在的安全漏洞。
🏠 攻击的原理在于,当用户请求Gemini提供日历概览并表示感谢时,预先植入的恶意提示词会指令谷歌的家居AI代理执行特定操作,例如打开窗户或关闭灯光,从而实现对智能家居设备的远程控制。
⏳ 研究人员早在今年2月就将此研究结果直接告知了谷歌。谷歌方面承认,这类提示词注入攻击可能会持续存在,但目标是让普通用户无需过度担忧,并强调此类攻击在现实世界中“极为罕见”。
🛡️ 谷歌对研究人员发现的漏洞高度重视,并表示将利用这些研究成果加速开发更有效的工具来阻止此类攻击。随着大型语言模型的复杂性不断增加,不法分子可能会寻找新的攻击途径,使得防范变得更具挑战性。
IT之家 8 月 7 日消息,在本周的黑帽网络安全大会上,研究人员展示了对谷歌 Gemini 人工智能助手的一次攻击。他们通过在谷歌日历邀请中注入间接提示词,成功控制了与 Gemini 连接的智能家居设备。在实验中,当用户请求 Gemini 提供日历概览并对其结果表示感谢时,恶意提示词指令会命令谷歌的家居 AI 代理执行诸如打开窗户或关闭灯光等操作。

据IT之家了解,研究人员早在今年 2 月就直接将研究结果告知了谷歌。谷歌 Workspace 安全产品管理总监安迪・温(Andy Wen)在接受 Wired 采访时表示:“这种提示词注入攻击可能会伴随我们一段时间,但我们希望最终能够让普通用户不必过于担心。”他指出,此类攻击在现实世界中“极为罕见”,然而,随着大型语言模型复杂性的不断增加,不法分子可能会寻找新的方法来利用这些模型,这使得防范此类攻击变得十分困难。
温强调,谷歌对研究人员发现的漏洞“极为重视”,并利用这些结果加快了开发更好工具以阻止此类攻击的工作进展。