AI技术的快速发展，使得其在赋能网络安全的同时，也为攻击者提供了极大便利，随之而来的安全挑战同样日益凸显。AI的安全与安全的AI已成为业界关切焦点，我们将围绕此话题展开深度解析。本文为上篇，将探讨以下内容：

AI发展简史

AI驱动安全

AI驱动攻击

近年来，AI的快速发展举世瞩目，其技术进步和创新能力在各个行业领域得到了广泛应用。从医疗诊断、金融分析，到自动驾驶、智能制造，AI的应用范围不断扩大，极大地提升了效率和生产力。

AI技术发展最近10年的里程碑事件列表如下：

相对于AI在技术发展上的显著成就和公众对AI技术的关注程度，我们在AI技术安全性方面的研究和关注明显不足。

根据对全球核心学术研究论文数据库Web of Science中AI技术和安全相关的研究论文进行的分类统计，自2012年以来，AI技术发展相关论文数量呈现出持续增长的趋势，尤其在2017年Transform模型发布以后，这一增长更为显著。相比之下，AI安全研究相关论文的数量增速远不及AI技术发展研究。

2023年，Chat GPT获得万众瞩目，以LLM为代表的人工智能技术成为主流。根据对全球最大公开论文发布平台arXiv中近两年来与LLM技术相关论文的统计分析，LLM安全技术研究的增长幅度和关注度明显滞后于技术本身的快速发展。

截至目前，AI技术研究与AI安全研究之间的不平衡问题愈发突出。这种安全研究滞后的现象可能引发一系列隐患，如果安全研究无法跟上技术发展的步伐，相关系统可能会面临更高的安全风险。随着AI的能力越来越强，其产生的风险也就越来越大。

2024年6月5日，以“AI驱动安全”为主题的2024全球数字经济大会数字安全高层论坛暨北京网络安全大会战略峰会在北京国家会议中心开幕，“AI驱动安全”成为安全业界共识。

在网络安全领域，AI的应用正日益成熟，机器学习、神经网络、知识图谱、深度学习和强化学习等AI技术，为网络安全带来了革命性的变革。

传统的安全设备如果遇到新的威胁，检测处置的主要流程如下：

应用AI技术后，安全设备可以建立正常业务模型，及时发现威胁的变种甚至全新的未知威胁。以下是AI在网络安全领域的一些主要应用：

2023年，Chat GPT大获成功，以LLM为代表的人工智能技术成为主流。早期的AI技术通过学习分析大量历史数据，提取数学特征，洞悉数据隐藏的细节和规律；现在的大语言模型通过预训练掌握大量通用知识，再通过微调特训掌握安全领域知识，可以成为一个可以长期驻厂的安全专家。

目前大部分的企业单位都面临安全能力不足，管理员经验有限的难题。安全大模型作为安全专家，可用于帮助管理员完成自动化的安全运营，帮助他们更快地做出正确的决策，让高级的安全操作变得更加容易，让复杂安全事件的处置过程变得更加可靠，从而大大降低安全运营门槛。目前大部分生成式AI 产品聚焦在这个方向，主要功能包括安全监控、威胁检测、资产风险、创建报告等，通过简单的自然语言提示实现任何检测、调查或响应工作流程，能够辅助安全管理人员提升安全运营的自动化水平，降低安全运营的时间和人力成本。

2024年国内主要的安全公司都在训练自己的安全大模型。

在大模型落地方式上，目前国内外安全市场存在明显差异。海外市场以云部署占主导，包括CrowdStrike、PANW等头部安全厂商均采取云优先的战略来推广。国内市场更强调数据安全性，以私有化本地化部署为主，云部署为辅。

AI技术是一把双刃剑，可以用来防护，也可以用来攻击。

大语言模型（LLM）最显著的特征是它们的涌现能力。涌现能力可以类比到物理学中的相变现象，模型性能随着规模增大而迅速提升，超过了随机水平，量变引起了质变。具体而言，涌现能力可以定义为与某些复杂任务相关的能力，比如，LLM三个典型的涌现能力：

上下文学习：上下文学习能力由GPT-3首次引入，这种能力允许语言模型在提供自然语言指令或多个任务示例的情况下，通过理解上下文并生成相应输出的方式来执行任务，而无需额外的训练或参数更新。




指令遵循：LLM被证明在同样使用指令形式化描述的未见过的任务上表现良好，这意味着LLM能够根据任务指令执行任务，而无需事先见过具体示例，展示了强大的泛化能力。




规划推理：LLM通过采用思维链、思维树等推理策略，可以利用包含中间推理步骤的提示机制来解决这些任务，从而得到最终答案。分步骤推理能力进一步形成规划解决问题的能力。

这些能力对安全防护和攻击都是至关重要的。目前，主流安全厂商都在使用大语言模型提升安全防护运营能力；相应地，黑客和犯罪团伙也在利用大语言模型提升攻击能力。大语言模型对于网络安全行业的影响与其他行业有所不同，AI不仅对于安全产品技术和形态带来改变，也能够大幅降低了安全攻击的门槛，进而带来整个行业的变化。

随着人工智能的不断发展，它们将能够自动化地完成攻击链的各阶段工作。传统上的网络攻击事件一般由黑客、专家主导，后续网络攻击可能转变为频繁的自动化、规模化行动。

具体来讲，结合网络攻击链过程分析，黑客和攻击方可以利用AI技术进行相应行动，以下是AI技术在网络攻击领域的一些主要应用：

2024年3月，加州大学尔湾分校和微软共同发布论文《LLM驱动的自动网络攻击系统》，使用GTP-4驱动，搭建自动化的网络入侵攻击系统，完成了预定的14种常见入侵攻击任务。

关注本公众号【威努特安全网络】

在对话框回复【AI01】可下载

该论文表明，使用大模型LLM驱动实现网络攻击是可行的。根据研究试验，结果显示虽然GPT-3.5还有很多不足，仅完成了3种攻击；但是GPT-4已经可以完成所有预设的攻击任务，而且成功率非常高。

具体攻击任务和完成情况如下所示：

2024年2月，微软和OpenAI发布研究报告称，部分国家的黑客组织正在使用GPT来提高它们的网络入侵能力，同时为网络间谍活动寻找新的目标。

根据已经披露的信息，俄罗斯军事情报机构森林暴雪（STRONTIUM）使用大模型对各种卫星和雷达技术进行研究、生成攻击脚本；朝鲜的黑客组织翡翠雨（THALLIUM）使用大模型进行漏洞研究、生成攻击脚本；伊朗的黑客组织深红沙尘暴（CURIUM）使用大模型生成钓鱼邮件、攻击脚本、进行异常检测规避。这些组织相关的大模型账号和资产均已禁用。

另外，在2024年下半年，AI自动化攻击工具进入规模化和产业化阶段，目前已知的一些用于攻击的大语言模型包括：FraudGPT、WormGPT、EvilGPT、PoisonGPT、WolfGPT等。

比如FraudGPT在暗网市场和Telegram平台进行售卖交易，具体价格如下：

FraudGPT宣传的可支持的特性功能如下：

可以看出，黑客和攻击方已经基于大语言模型构造了用于驱动攻击的相对成熟完整的AI工具集合，并且形成了完整的产业链。

自从OpenAI发布ChatGPT以来，黑客组织就一直在试验人工智能系统。黑客是好奇的天才，既有聪明的头脑，也具有极强的动手能力，他们可能帮助组织安全快速地实施人工智能项目，也有可能利用AI技术发起高级别高难度的攻击。

2023年底，HackerOne发布了第七份年度黑客驱动安全报告，其中调查了黑客对GenAI的使用情况以及他们攻击该技术的经验。以下为主要调查结果：

66%的黑客正使用或将使用GenAI技术来更好地编写报告；

61%的黑客计划使用并开发GenAI驱动黑客工具来发现更多漏洞；

55%的黑客表示，GenAI工具将成为他们未来几年的重点目标；

53%的黑客将使用GenAI来编写代码；

43%的黑客认为GenAI将导致代码中的漏洞数量增加；

38%的黑客认为GenAI将导致代码中的漏洞数量减少；

28%的黑客最关注GenAI的犯罪型漏洞利用；

22%的黑客最关注通过GenAI进行虚假信息传播；

18%的黑客最关注通过GenAI增加不安全的代码；

14%的黑客表示，GenAI已经成为其“至关重要的工具”；

3%的黑客表示将使用GenAI来降低语言障碍。

除了黑客，还有一支重要的力量在使用AI驱动攻击。目前各个国家的安全部门、军队等都在大力投入科研力量从事这方面的研究。近期大家经常从网上可以看到的无人机、机器狗/狼等攻击武器，背后都离不开AI技术的支持。

下篇，我们将探讨以下内容：

AI自身的安全风险

AI的自我觉醒

AI安全展望

敬请期待！