隨著越來越多企業重用生成式AI技術,資安威脅也隨之浮現,尤其是鎖定LLM模型的威脅越來越多。根據iThome 2025 CIO大調查結果,對整體企業來說,不論是否開始使用GAI,開始有企業將四種GAI威脅列為未來一年自己極有可能發生,而且會帶來重大影響的迫切威脅,這四項包括了LLM應用程式洩漏敏感資料(整體企業10%),LLM提示遭注入(整體企業的7%),LLM模型遭竊取(7%)和AI代理出現濫權失控(5%)。
對GAI領先企業而言,這四項是更迫切的威脅,高達22%領先者擔心今年很可能發生LLM應用資料外洩,就像是最近ChatGTP因為實驗性功能設計不良,導致使用者錯誤使用,外洩了11萬筆隱私對話遭到Google搜尋引擎索引而對外曝光。這是企業難以預測的迫切資料外洩風險。
今年資安圈熱烈討論的提示工程注入攻擊,也有17%領先企業列為今年最迫切的威脅,擔心的企業比例遠高於一般企業的7%。GAI領先者勇於嘗試不同LLM,有更多GAI應用,對提示注入攻擊也更為警戒。另外,對於當紅的代理型AI技術(Agentic AI),領先企業最警戒的是AI代理濫權失控(Excessive Agency),尤其沒有做好配套的權限控管,採取最小系統存取權限和最少資料取用原則,代理AI可能在背景合法地執行了濫權行為。這是為何有9%領先企業列為今年即可有能發生的威脅項目。
為了因應四大威脅和更多GAI風險,這次調查盤點領先企業的GAI風險對策,高達66%領先者優先聚焦員工的GAI素養,讓他們有能力識別和緩解GAI風險,這也是一般企業多半會採取的避險對策(47%),不過,50%領先者會統一管理GAI技術和工具,來落實AI治理或資料治理的政策,只有27%一般企業重視這一項做法。甚至有28%領先企業指派高階主管負責GAI風控,拉高GAI風控在組織中的決策層級。
為了防護LLM模型,去年領先企業只有5%採用GAI護欄技術,但今年大幅提高到19%領先企業要採用,採用率幾乎是翻了四倍,而整體企業今年只有5%企業要採用,雖然比去年的2%提高了不少,但遠低於領先者對GAI護欄技術的重視程度。在AI治理面,對於負責任AI的推動上,今年高達38%的領先企業要採用,比去年的19%採用率多了一倍,同樣遠高於整體企業今年只有12%企業要採用負責任AI的比例。GAI護欄技術和負責任AI,代表了因應GAI風險對策的兩個不同的層面,前者是透過技術來避險,後者是透過制度和規範來防災。技術避險和制度防災,這都是企業擴大、深化運用GAI之後,需要重視的兩手策略。
調查說明 調查執行從2024年12月30日到2025年2月3日為止,針對臺灣大型企業,歷屆CIO大調查企業,政府機關和大學的IT與資安主管,進行線上問卷。有效問卷數395家,其中有72%是CIO與IT主管,62%是CISO與資安主管。