嘶吼专业版 04月27日 23:25
人工智能产生的虚假代码使用正成为新的供应链风险
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

随着AI代码生成工具的普及,一种名为“slopsquatting”的新型供应链攻击浮出水面。这种攻击利用AI模型“臆造”不存在的软件包名称,诱骗开发者安装恶意包。研究表明,大量AI生成的代码样本中存在推荐不存在的包的情况,开源模型尤为严重。尽管目前尚未出现攻击案例,但安全研究人员警告称,这种“臆造”行为具有可预测性和可重复性,容易被恶意利用。防范此类风险的关键在于手动验证包名称,并采取依赖扫描、锁文件等安全措施。

🤖 **Slopsquatting攻击**: 一种新型供应链攻击,利用AI模型“臆造”不存在的软件包名称,诱骗开发者安装恶意包,与传统的typosquatting攻击不同,它不依赖于拼写错误。

⚠️ **包幻觉现象**: 研究表明,在大量AI生成的代码样本中,推荐的包并不存在,开源LLM的情况更糟,商业工具如ChatGPT-4也存在一定比例的“臆造”现象。

🔄 **可重复性风险**: 研究发现,超过半数的“臆想”软件包名称在多次运行中重复出现,这意味着这种“臆造”并非随机噪音,而是模型对特定提示的可重复反应,增加了攻击者识别目标的可能性。

🛡️ **防范措施**: 手动验证包名称是关键,切勿轻信AI生成的代码片段中提到的包。同时,使用依赖扫描器、锁文件和哈希验证等手段,将包锁定到已知的可信版本,以提高安全性。

随着用于编码的生成式人工智能工具的使用日益增多,且相关模型存在 “臆造” 出不存在的软件包名称的倾向,一种名为 “slopsquatting” 的新型供应链攻击已经出现。

slopsquatting这个术语是由安全研究人员Seth Larson创造的,是对typosquatting的一种解释。typosquatting是一种攻击方法,通过使用与流行库非常相似的名称来欺骗开发人员安装恶意软件包。

与typposquatting不同,slopsquatting不依赖于拼写错误。相反,威胁者可以在PyPI和npm等索引上创建恶意包,这些索引通常由AI模型在编码示例中组成。

2025年3月发表的一篇关于包幻觉的研究论文表明,在大约20%的研究案例(576,000个生成的Python和JavaScript代码样本)中,推荐的包不存在。

像CodeLlama、DeepSeek、WizardCoder和Mistral这样的开源法学管理软件的情况更糟,但像ChatGPT-4这样的商业工具仍然以5%的速度出现新的“仿造款”,这是很值得关注的。

各种LLM的相似率

虽然在研究中记录“臆想”包装名称数量很大,超过20万,其中43%的名称在类似的提示中持续重复,58%的名称在10次运行中至少再次出现一次。研究表明,这些捏造的包装名称中,有38%的名字似乎是受到真实名字的启发,13%是拼写错误的结果,剩下的51%完全是捏造的。

尽管没有迹象表明攻击者已经开始利用这种新型攻击,但有安全研究人员警告说, “臆造” 出不存在的软件包名称是常见的,可重复的,并且在语义上是合理的,创造了一个可预测的攻击面,可以很容易地武器化。

总的来说58%的“臆想”包装在10次运行中重复了不止一次,这表明大多数“臆想”不仅仅是随机的噪音,而是模型对某些提示的反应的可重复的人工制品。这种可重复性增加了它们对攻击者的价值,使其更容易通过观察少量模型输出来识别可行的相关目标。

供应链风险概述

减轻这种风险的唯一方法是手动验证包名称,并且永远不要假设ai生成的代码片段中提到的包是真实的或安全的。

使用依赖扫描器、锁文件和哈希验证将包锁定到已知的可信版本是提高安全性的有效方法。

研究表明,降低与人工智能的黏性可以减少“臆想”,在生产环境中运行或部署ai生成的代码之前,始终在安全、隔离的环境中对其进行测试也是明智之举。

参考及来源:https://www.bleepingcomputer.com/news/security/ai-hallucinated-code-dependencies-become-new-supply-chain-risk/

📍发表于:中国 北京

🔗️ 阅读原文

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Slopsquatting 供应链安全 AI代码生成 包幻觉
相关文章