HackerNews 8小时前
约半数安全专家呼吁暂停部署生成式 AI
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Cobalt的报告揭示了生成式AI在安全领域带来的挑战。近半数安全专家呼吁暂停部署以调整防御策略,但同时指出,安全团队不能停滞不前。报告强调了数据安全、模型安全等核心风险,以及LLM特有的漏洞。尽管风险高企,许多团队的安全评估仍显不足。报告呼吁在部署LLM应用时加强基础安全实践,并采用创新的测试方法。

🛡️ 多数安全专家对生成式AI部署持谨慎态度:近半数安全专业人士认为需要暂停部署,以重新校准防御措施。这反映了对生成式AI快速发展背景下安全风险的担忧。

⚠️ 数据安全与准确性是主要风险:敏感信息泄露、数据模型投毒与窃取、数据不准确以及训练数据泄露是受访者指出的主要风险,占比分别为46%、42%、40%和37%。

🚨 LLM特有漏洞带来新挑战:报告指出,生成式AI工具中约32%的漏洞属于高风险类别,且修复率较低。LLM特有漏洞包括诱导生成不当内容、泄露敏感数据、模型拒绝服务攻击和越权操作等。

💡 传统安全实践依然重要:在LLM应用中,SQL注入和存储型XSS等传统Web漏洞依然突出,表明在部署LLM应用时,仍需遵循严格的输入验证、安全编码和系统配置等基础安全实践。

HackerNews 编译,转载请注明出处:

根据进攻性安全公司Cobalt的最新报告,约半数(48%)的安全专业人员认为需要对生成式AI部署实施“战略暂停”,以重新校准防御措施。调查显示,绝大多数(94%)的安全负责人和从业者观察到过去12个月内其所在行业的生成式AI采用率显著提升。令人担忧的是,36%的受访者承认生成式AI部署速度已超出其团队管理能力范围。

尽管许多安全专家呼吁暂停部署,Cobalt首席技术官Gunter Ollmann警告此举并不现实:“威胁行为体不会坐等,安全团队同样不能。研究表明生成式AI在重塑工作方式的同时,也在改写风险规则。安全基础必须同步演进,否则我们将在过时的安全措施上构建未来的创新。”

生成式AI主要安全漏洞

约四分之三(72%)的安全从业者将生成式AI列为首要IT风险。受访者指出的主要风险集中于数据安全与准确性:敏感信息泄露(46%)、数据模型投毒与窃取(42%)、数据不准确(40%)及训练数据泄露(37%)位列前四。尽管风险高企,33%的安全团队未对其大语言模型(LLM)部署实施定期渗透测试等安全评估。

Cobalt自2022年开展LLM测试以来的评估显示,生成式AI工具中约32%的漏洞属于高风险类别,这是所有资产类型中高危漏洞占比最高的领域。其中仅21%的高危漏洞得到修复,修复率在所有渗透测试类型中最低。传统Web漏洞在生成式AI系统中依然突出:SQL注入(19.4%)和存储型XSS(9.7%)占比最高,这表明部署LLM应用时仍需遵循严格的输入验证、安全编码和系统配置等基础安全实践。

渗透测试还发现多类LLM特有漏洞:

• 诱导生成不当内容:通过精心设计的输入提示绕过内容过滤器
• 诱导泄露敏感数据:利用提示注入技术使LLM泄露个人身份信息等数据
• 模型拒绝服务攻击:通过API发送大量复杂查询导致服务中断
• 越权操作:通过精细化交互使LLM执行超出权限范围的操作

报告强调:“这些案例证明,发现涉及复杂提示操纵的LLM特有漏洞需要高水平人工专业能力和创新测试方法。”

 

 

 


消息来源: infosecurity-magazine

本文由 HackerNews.cc 翻译整理,封面来源于网络;

转载请注明“转自 HackerNews.cc”并附上原文

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

生成式AI 安全风险 漏洞 数据安全
相关文章