AI & Big Data 9小时前
【iThome 2025 CIO大調查(上)|GAI戰略3:風險控管】破5成領先企業首重兩手對策,迎戰今年4大GAI迫切威脅
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

随着生成式AI(GAI)的普及,企业面临的资安威胁也日益凸显,尤其是针对大型语言模型(LLM)的攻击。iThome 2025 CIO大调查显示,LLM应用程式洩漏敏感资料、LLM提示注入、LLM模型被窃取以及AI代理滥权失控,是企业未来一年最可能面临的重大威胁。领先企业对此尤为警惕,并积极采取措施应对,包括提升员工GAI素养、统一管理GAI技术工具、设立高阶主管负责GAI风控、采用GAI护栏技术以及推动负责任AI。这些措施旨在通过技术和制度双管齐下,确保企业在深化应用GAI的同时,有效规避潜在风险。

🔐 **LLM应用程式数据泄露风险显著**:调查显示,10%的整体企业和高达22%的GAI领先企业担心LLM应用程式会泄露敏感数据。例如,近期ChatGPT因实验性功能设计不当导致用户隐私对话泄露并被搜索引擎索引,凸显了这类风险的紧迫性与不可预测性。

💡 **提示注入攻击成为企业关注焦点**:17%的GAI领先企业将LLM提示注入列为最迫切的威胁,远高于一般企业的7%。这反映出领先企业在尝试更多LLM应用时,对提示注入攻击的警惕性更高,也表明了提示工程在AI安全中的重要性。

🤖 **AI代理滥权失控引担忧**:对于代理型AI技术,9%的领先企业担心AI代理可能滥用权限失控,尤其是在未实施最小系统访问权限和最少数据取用原则的情况下。这强调了对AI代理进行严格的权限管理和配套控制措施的必要性。

🛡️ **企业风险应对策略多样化**:为应对GAI风险,66%的领先企业优先聚焦员工GAI素养提升,47%的企业采取此对策。此外,50%的领先企业统一管理GAI技术和工具以实施AI治理,28%的领先企业指派高阶主管负责GAI风控,显示出企业在人才培养、技术管理和组织层级上的多维度风险控制布局。

📈 **GAI护栏技术和负责任AI adoption率提升**:去年仅5%的领先企业采用GAI护栏技术,今年增至19%,增长近四倍。同时,负责任AI的采用率也从去年的19%翻倍至38%。这表明企业正通过技术(护栏)和制度(负责任AI)双管齐下,以更系统化的方式应对GAI带来的挑战。

隨著越來越多企業重用生成式AI技術,資安威脅也隨之浮現,尤其是鎖定LLM模型的威脅越來越多。根據iThome 2025 CIO大調查結果,對整體企業來說,不論是否開始使用GAI,開始有企業將四種GAI威脅列為未來一年自己極有可能發生,而且會帶來重大影響的迫切威脅,這四項包括了LLM應用程式洩漏敏感資料(整體企業10%),LLM提示遭注入(整體企業的7%),LLM模型遭竊取(7%)和AI代理出現濫權失控(5%)。

對GAI領先企業而言,這四項是更迫切的威脅,高達22%領先者擔心今年很可能發生LLM應用資料外洩,就像是最近ChatGTP因為實驗性功能設計不良,導致使用者錯誤使用,外洩了11萬筆隱私對話遭到Google搜尋引擎索引而對外曝光。這是企業難以預測的迫切資料外洩風險。

今年資安圈熱烈討論的提示工程注入攻擊,也有17%領先企業列為今年最迫切的威脅,擔心的企業比例遠高於一般企業的7%。GAI領先者勇於嘗試不同LLM,有更多GAI應用,對提示注入攻擊也更為警戒。另外,對於當紅的代理型AI技術(Agentic AI),領先企業最警戒的是AI代理濫權失控(Excessive Agency),尤其沒有做好配套的權限控管,採取最小系統存取權限和最少資料取用原則,代理AI可能在背景合法地執行了濫權行為。這是為何有9%領先企業列為今年即可有能發生的威脅項目。

為了因應四大威脅和更多GAI風險,這次調查盤點領先企業的GAI風險對策,高達66%領先者優先聚焦員工的GAI素養,讓他們有能力識別和緩解GAI風險,這也是一般企業多半會採取的避險對策(47%),不過,50%領先者會統一管理GAI技術和工具,來落實AI治理或資料治理的政策,只有27%一般企業重視這一項做法。甚至有28%領先企業指派高階主管負責GAI風控,拉高GAI風控在組織中的決策層級。

為了防護LLM模型,去年領先企業只有5%採用GAI護欄技術,但今年大幅提高到19%領先企業要採用,採用率幾乎是翻了四倍,而整體企業今年只有5%企業要採用,雖然比去年的2%提高了不少,但遠低於領先者對GAI護欄技術的重視程度。在AI治理面,對於負責任AI的推動上,今年高達38%的領先企業要採用,比去年的19%採用率多了一倍,同樣遠高於整體企業今年只有12%企業要採用負責任AI的比例。GAI護欄技術和負責任AI,代表了因應GAI風險對策的兩個不同的層面,前者是透過技術來避險,後者是透過制度和規範來防災。技術避險和制度防災,這都是企業擴大、深化運用GAI之後,需要重視的兩手策略。

 調查說明  調查執行從2024年12月30日到2025年2月3日為止,針對臺灣大型企業,歷屆CIO大調查企業,政府機關和大學的IT與資安主管,進行線上問卷。有效問卷數395家,其中有72%是CIO與IT主管,62%是CISO與資安主管。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

生成式AI 资安威胁 LLM AI治理 风险管理
相关文章