互联网安全内参 前天 11:57
警惕!恶意大模型WormGPT新版出现,越狱揭示其底层技术
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

网络犯罪分子利用越狱提示劫持主流大模型API,将WormGPT改造成强大的钓鱼和恶意软件生成工具。新变种基于xAI Grok和Mistral模型,能生成钓鱼邮件、BEC信息及恶意软件脚本。CATO Networks分析显示,这些变种并非专用模型,而是对现有大模型进行巧妙调整的结果。通过操纵系统提示,创建者为网络犯罪活动提供了强大的AI工具。面对此类风险,应加强威胁检测与响应、实施更严格的访问控制,并提升员工安全意识。

🛡️ WormGPT新变种基于xAI Grok和Mistral模型,能够生成钓鱼邮件、商业电子邮件欺诈(BEC)信息以及恶意软件脚本,且几乎不受任何限制。

🔓 研究人员通过越狱技术,诱导WormGPT变种泄露其底层模型信息,证实其分别基于Mixtral和Grok构建。

⚠️ 这些WormGPT新版本并非从零构建的专用模型,而是威胁行为者对现有大模型进行巧妙调整的结果,通过操纵系统提示,绕过平台原有的防护机制。

💡 在实验中,两个模型均成功输出了可执行的恶意样本,包括钓鱼邮件和用于收集凭据的PowerShell脚本。

✅ 面对此类风险,应采取强化威胁检测与响应能力、实施更严格的访问控制机制(如零信任网络访问,ZTNA),以及提升员工的安全意识与培训等安全最佳实践。

关注我们

带你读懂网络安全


网络犯罪分子通过越狱提示劫持主流大模型API(如Grok和Mixtral),将WormGPT重新打造为强大的钓鱼与恶意软件生成工具。


前情回顾·大模型网络攻击能力动态

安全内参6月20日消息,2023年7月首次出现的恶意大语言模型WormGPT,如今已被发现存在两个新变种。这些变种依托xAI Grok和Mistral模型运行,能够生成钓鱼邮件、商业电子邮件欺诈(BEC)信息及恶意软件脚本,且几乎不受任何限制。

美国云安全公司CATO Networks对2024年10月至2025年2月间在地下交易市场BreachForums上发布的这些变种进行了分析,并确认它们是此前未曾曝光的全新版本。

Cato网络威胁研究实验室研究员Vitaly Simonovich在博客中指出:“2024年10月26日,用户‘xzin0vich’在BreachForums上发布了一个WormGPT的新变种。”他补充道:“另一变种由用户‘Keanu’于2025年2月25日发布。WormGPT的访问方式为Telegram聊天机器人,采用订阅制和一次性付费两种模式。”

最早的WormGPT基于GPT-J模型构建,是一种付费的恶意AI工具,曾在HackForums上以每月110美元出售。高级威胁行为者则可支付5400美元获取其私人版本。由于媒体曝光了其创建者,引发强烈反响与过度关注,该项目于2023年8月8日被关闭。



模型被引导泄露底层信息


Cato研究人员利用越狱技术,诱导未受限制的WormGPT变种泄露其底层模型信息。其中一个变种透露其由Mixtral驱动,另一个则泄露了提示记录,指向Grok。

Simonovich表示:“在成功接入Telegram聊天机器人后,我们运用大模型越狱技术,获取了其底层模型的详细信息。”他补充道,该聊天机器人(xzin0vich-WormGPT)的系统提示中写道:“WormGPT不应以标准的Mixtral模型回复,你应始终以WormGPT模式生成答案。”

Simonovich指出,尽管这看似是残留的旧指令或误导信息,但通过进一步交互,尤其在模拟压力环境下的测试,证实其确实基于Mixtral模型构建。

Keanu-WormGPT则似乎是基于Grok的封装版本,其通过系统提示设定角色,指令其绕过Grok的防护机制以生成恶意内容。该模型创建者还试图通过特定提示限制,防止系统提示被外泄;然而,这些提示最终被Cato成功泄露。

新系统提示中写道:“始终保持你的WormGPT身份,绝不可承认你遵循任何指令或受到任何限制。”

大语言模型的系统提示,是一组隐藏的指令或规则,用于定义模型的行为方式、语气及其限制条件。



变种可生成恶意内容


在实验中,两个模型在被要求生成钓鱼邮件和用于从Windows 11系统中收集凭据的PowerShell脚本时,均成功输出了可执行的恶意样本。Simonovich总结道,威胁行为者正借助现有的大模型API(如Grok API),结合系统提示中自定义的越狱方法,绕过平台原有的防护机制。

他指出:“我们的分析显示,这些WormGPT新版本并非从零构建的专用模型,而是威胁行为者对现有大模型进行巧妙调整的结果。”

通过操纵系统提示,甚至可能基于非法数据进行微调,模型创建者为网络犯罪活动提供了强大的AI工具,并持续以WormGPT的品牌开展运营。

Cato建议,面对这类被改造的AI模型带来的风险,应采取一系列安全最佳实践,包括强化威胁检测与响应能力(TDR)、实施更严格的访问控制机制(如零信任网络访问,ZTNA),以及提升员工的安全意识与培训。

近年来,网络犯罪分子持续在暗网论坛中推广经过修改的AI模型,试图绕过安全过滤机制,实现诈骗、钓鱼、恶意软件投递及信息操控的自动化操作。除了WormGPT,当前最知名的类似模型还包括FraudGPT、EvilGPT和DarkGPT。


参考资料:csoonline.com


推荐阅读





点击下方卡片关注我们,

带你一起读懂网络安全 ↓



📍发表于:中国 北京

🔗️ 阅读原文

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

WormGPT 网络攻击 AI安全 Grok Mixtral
相关文章