HackerNews 编译,转载请注明出处:
根据进攻性安全公司Cobalt的最新报告,约半数(48%)的安全专业人员认为需要对生成式AI部署实施“战略暂停”,以重新校准防御措施。调查显示,绝大多数(94%)的安全负责人和从业者观察到过去12个月内其所在行业的生成式AI采用率显著提升。令人担忧的是,36%的受访者承认生成式AI部署速度已超出其团队管理能力范围。
尽管许多安全专家呼吁暂停部署,Cobalt首席技术官Gunter Ollmann警告此举并不现实:“威胁行为体不会坐等,安全团队同样不能。研究表明生成式AI在重塑工作方式的同时,也在改写风险规则。安全基础必须同步演进,否则我们将在过时的安全措施上构建未来的创新。”
生成式AI主要安全漏洞
约四分之三(72%)的安全从业者将生成式AI列为首要IT风险。受访者指出的主要风险集中于数据安全与准确性:敏感信息泄露(46%)、数据模型投毒与窃取(42%)、数据不准确(40%)及训练数据泄露(37%)位列前四。尽管风险高企,33%的安全团队未对其大语言模型(LLM)部署实施定期渗透测试等安全评估。
Cobalt自2022年开展LLM测试以来的评估显示,生成式AI工具中约32%的漏洞属于高风险类别,这是所有资产类型中高危漏洞占比最高的领域。其中仅21%的高危漏洞得到修复,修复率在所有渗透测试类型中最低。传统Web漏洞在生成式AI系统中依然突出:SQL注入(19.4%)和存储型XSS(9.7%)占比最高,这表明部署LLM应用时仍需遵循严格的输入验证、安全编码和系统配置等基础安全实践。
渗透测试还发现多类LLM特有漏洞:
• 诱导生成不当内容:通过精心设计的输入提示绕过内容过滤器
• 诱导泄露敏感数据:利用提示注入技术使LLM泄露个人身份信息等数据
• 模型拒绝服务攻击:通过API发送大量复杂查询导致服务中断
• 越权操作:通过精细化交互使LLM执行超出权限范围的操作
报告强调:“这些案例证明,发现涉及复杂提示操纵的LLM特有漏洞需要高水平人工专业能力和创新测试方法。”
消息来源: infosecurity-magazine;
本文由 HackerNews.cc 翻译整理,封面来源于网络;
转载请注明“转自 HackerNews.cc”并附上原文