原创 安全419 2025-07-24 17:46 四川
如何引领企业迈向更安全、更有效的AI应用之路。
当ChatGPT初现时,首席信息安全官们(CISO)意识到其变革性,但他们认为企业80%或以上的现有安全基础——如完善的资产清单、数据安全、身份治理、漏洞管理等,足以支撑AI安全。然而时至今日,现实表明那剩余的20%挑战远超预期。
AI应用迅猛扩展了攻击面,深入波及第三方软件供应链,带来能见度盲区。其依赖开源和API的特性导致影子AI无处不在。加之创新迭代极快,安全团队疲于应对。
与此同时,AI项目失败率激增,标准普尔研究显示,42%的企业在2025年关闭了大部分AI项目,近半数概念验证(POC)甚至未上线即告终止,主因包括成本、数据质量差、治理缺失、人才缺口及规模化难题。
面对项目失败与复杂的安全挑战,组织在推动AI创新与安全的道路上任务艰巨且日益繁重。而在近期交流中,CISO们频繁强调以下五个优先事项。
一、建立一个强大的治理模型
人工智能治理模型的首要任务,是促使业务与技术团队就如何以及何处运用AI支持组织使命达成共识。为此,CISO需与首席信息官(CIO)协作,共同教育业务领导者及法务、财务等职能部门,建立一个业务需求与技术能力匹配的人工智能框架。该框架应涵盖从概念到生产的完整生命周期,包含道德考量、可接受使用策略、透明度、法规遵从性以及最重要的成功度量标准。
在此过程中,CISO应审视现有框架,如NIST人工智能风险管理框架、ISO/IEC 42001:2023、联合国教科文组织人工智能伦理建议,以及RockCyber的RISE和CARE框架,企业最终需要整合出适合自身需求的“最佳”框架。
二、建立全面且持续更新的AI风险视图
掌握组织的人工智能风险需从基础入手,例如建立人工智能资产清单、软件成分清单(SBOM)、漏洞与暴露管理机制以及人工智能风险登记册。
在基础工作之外,CISO及安全团队必须深入理解人工智能特有威胁的复杂性,如模型投毒、数据推断和提示注入。威胁分析师需持续跟进人工智能攻击的新兴战术、技术与程序(TTPs)。
随着AI应用延伸至第三方,CISO需要对第三方的数据、AI安全控制、供应链安全等进行定制化审计。同时还必须关注不断涌现且时常变化的AI法规。
三、关注不断变化的数据完整性定义
机密性、完整性和可用性是网络安全的基石,在信息安全领域,数据完整性主要集中在未经授权的数据修改和数据一致性等问题上,这些保护措施依然必要,然而在人工智能时代,CISO必须将职责范围扩展到涵盖AI模型本身的数据完整性和准确性。
比如亚马逊曾开发AI招聘工具,因主要基于男性简历数据训练而发生了歧视女性申请者的事例;英国护照照片检查应用程序则因使用白皮肤人士数据训练,而出现歧视深肤色人群的丑闻。虽然AI模型准确性不属于CISSP认证范畴,但CISO必须将其纳入人工智能治理的核心责任。
四、提高各层级的AI素养
鉴于每位员工、合作伙伴及客户都将与人工智能交互,提升他们的AI素养至关重要。CISO应率先在安全团队内部开展人工智能基础培训,并推动整个组织的能力建设。
首先,需将人工智能威胁建模、数据处理及API安全等内容,纳入现有的安全软件开发生命周期。
同时,开发者需接受涵盖OWASP十大LLM漏洞、谷歌安全AI框架及云安全联盟指南等最佳实践的培训。面向最终用户的培训则应覆盖可接受的使用规范、数据处理要求、虚假信息识别与深度伪造防范。
此外,人力风险管理等解决方案需持续更新以应对人工智能威胁,并为不同角色和个人提供定制化培训。
五、对网络安全领域的AI技术保持谨慎乐观
尽管当前AI安全技术发展迅猛,但其更接近“驾驶辅助”,类似于定速巡航而非自动驾驶。
CISO应要求团队识别具体可辅助的任务,如警报分类、威胁狩猎、风险评分、报告生成,并着手研究这些领域的新兴安全方案。
同时,安全负责人需主动安排与核心安全技术供应商的路线图会议,并准备好具体需求进行讨论,而非被动听取空洞的演示。CISO还应直接询问供应商如何利用AI优化现有技术。
鉴于创新活跃,建议广泛考察现有合作伙伴、竞争对手及初创公司。但需警惕,许多AI“产品”实为功能模块,且AI应用本身资源密集、开发运营成本高昂。部分初创公司或被收购,但多数可能迅速倒闭——投资务必谨慎!
结语
从ChatGPT引发的安全重构到今日AI治理的实践,企业已清晰认识到,这并非单纯的技术升级,而是组织韧性、伦理责任与创新节奏的重新平衡。当攻击面随AI扩张至供应链末梢,当模型偏差可能引发系统性风险,CISO的角色已从传统守护者进化为战略架构师,唯有将治理融入AI生命周期、让安全与创新同步迭代,方能在颠覆性浪潮中锚定价值。
参考链接:
https://www.csoonline.com/article/4011384/the-cisos-5-step-guide-to-securing-ai-operations.html
END
✦
推荐阅读
✦
粉丝福利群开放啦
加安全419好友进群
红包/书籍/礼品等不定期派送