具体参与方式请见文末
AI人工智能是引领新一轮科技革命和产业变革的战略性技术，国家高度重视人工智能发展，4月25日，中共中央政治局进行第二十次集体学习的主题正是“加强人工智能发展和监管”。现在越来越多的机关、企事业单位开始推进大模型的应用与部署，人工智能正在加速广泛应用于企业办公、科技研发、公共服务等领域。然而，随着人工智能技术的不断进步，大模型的应用日益广泛，各类安全风险也不容忽视。
01
人工智能大模型潜在安全风险
伦理风险
1.加剧性别、种族偏见与歧视；
2.传播意识形态，危害国家安全；
3.学术与教育伦理风险；
4.影响社会就业与人类价值；
内容安全风险
1.可信与恶意使用风险
（1）制造恶意软件；
（2）传播虚假信息；
（3）违反法律法规；
（4）缺乏安全预警机制；
2.隐私风险
（1）侵犯用户隐私信息；
（2）泄露企业机密数据；
3.知识产权风险
（1）训练阶段存在知识产权风险；
（2）应用阶段存在知识产权风险；
（3）生成式大模型知识产权保护；
技术安全风险
1.对抗样本攻击风险；
2.后门攻击风险；
3.Prompt注入攻击风险；
4.数据投毒风险；
5.越狱攻击风险；
相关新闻案例
02
人工智能大模型安全问题
带来的影响
人工智能大模型利用海量的数据和深度学习技术来理解、生成和预测新内容，因此也面临着人工智能安全方面的诸多威胁。这些威胁对用户侧、企业侧、社会侧均有不同程度的影响，甚至可能会导致如公共服务中断、重大安全事故等后果，干扰经济正常运转和社会有序运行，给国家、企业和个人造成严重的生命和财产损失。
用户侧
用户可能因为大模型的安全问题而遭受经济损失、隐私泄露等风险。例如，用户在使用大模型时，可能会无意中泄露个人敏感信息，或者因为模型生成的错误信息而做出错误决策。
企业侧
大模型安全问题可能影响企业的声誉和业务发展。例如，如果企业的AI应用被攻击，导致服务中断或数据泄露，可能会导致用户流失、业务受损。
社会侧
大模型安全问题可能引发社会信任危机，影响社会的稳定和发展。例如，如果大模型被用于传播虚假信息、煽动社会情绪等，可能会对社会秩序造成严重影响。
03
人工智能大模型
“安全底线”不容有失
2023年7月10日，国家互联网信息办公室等七部门联合发布《生成式人工智能服务管理暂行办法》，《办法》要求“提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估。”
构建全面、深入、快速的大模型安全评估体系
护航人工智能安全发展
工程中心安服团队依托在网络空间安全领域多年技术沉淀与行业经验，与北京邮电大学合作，致力于攻克AI安全评估痛点，落地多维度自动化测评，构建全面、深入、快速的AI大模型安全评估体系，帮助用户及时发现并消除潜在安全隐患。
工程中心大模型安全评估服务
1.评估维度
（1）伦理性
大模型善于捕捉数据模式，因此可能会内化、传播和放大其使用的训练语料中存在的有害信息，通常包括偏见（对特定性别、种族、职业、宗教信仰和意识形态的人的刻板印象和社会偏见）和毒性（仇恨言论和攻击性、侮辱性语言）。
（2）事实性
事实性指的是大模型生成符合事实信息的内容的能力，包括常识、世界知识和领域事实知识，其输出结果的可靠性和准确性变得至关重要。模型在事实性方面的缺陷可能会依据不准确、过时甚至故意编造的互联网信息产生看似逻辑连贯但实则错误或误导性的内容（如假新闻文章、伪造的对话记录等）。
（3）隐私性
大模型的记忆能力日益增强，用户可能在没有充分意识到隐私风险的情况下，输入包含个人敏感信息的数据，如个人健康记录、财务状态等，大模型可能将用户输入的隐私信息存储在模型之中，或者在未来的某个时刻输出这些信息，从而导致潜在的隐私泄露风险。
（4）鲁棒性
鲁棒性，又称强健性或抗干扰性，是指系统或算法在面对各种随机噪声、异常情况、恶意攻击等外部干扰时，仍能保持其性能稳定并输出可靠结果的能力。
2.评估体系
针对大模型的安全评估体系一般包含评估指标、评估数据集、评估方法、评估工具四个要素。
（1）评估指标
依据TC260-003《生成式人工智能服务安全基本要求》，从违反社会主义核心价值观、公平歧视、商业违法违规、侵犯他人合法权益等5大类31小类层面，对AI大模型安全进行全面检测。
（2）评估数据集
评估用例集包含应拒答合规性问题、非拒答合规性问题和安全性评估问题。
（3）评估流程
制定评估方案，确定评估模型，准备测试问题集，输出评估报告。
3.评估成果
4.评估价值
（1）合规性保障，规避法律风险
确保大模型符合国内外数据隐私、内容安全等法规，避免高额罚款或业务中断。
（2）降低业务风险，减少潜在损失
识别并修复模型漏洞，防范因AI失控导致的财务、声誉损失。
（3）增强用户信任，提升品牌价值
通过安全认证与透明度展示，建立用户对AI产品的信任，强化品牌形象。
（4）优化模型性能，提升业务效率
通过安全评估发现模型缺陷（如响应延迟、逻辑错误），推动技术迭代，提升服务稳定性。
大模型安全评估专属免费体验计划
现已开启，邀您参加！
人工智能是引领这一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的“头雁”效应，AI不仅助力实现技术变革、推动产业深度转型升级，更有效推动新质生产力加快形成。在这充满机遇与挑战的“群雁齐飞”之时，工程中心愿与各单位同仁携手，共筑安全防线，为我国数字经济的高质量发展提供有力支撑。
大模型安全评估免费体验计划即将开启，工程中心签约用户专享。
活动时间：6月3日至6月9日（16:00前截止）
了解更多详情或报名参加，请通过以下方式与我们联系↓
活动报名：
联系电话：
010-82486558
13601243600
联系邮箱：
nercis2008@nercis.ac.cn
往期阅读
关于工程中心
信息安全共性技术国家工程研究中心是国家发展和改革委员会于2004年8月3日（发改高技[2004]1551号）批复成立的国家级工程研究中心，2012年对我中心进行授牌，2021年纳入国家工程研究中心新序列管理。中科信息安全共性技术国家工程研究中心有限公司（中科信安）成立于2006年8月，为信息安全共性技术国家工程研究中心的法人实体。
我单位长期支撑各级网络与数据安全主管部门，服务全国各行业企事业单位，拥有丰富的安服项目经验，同时具备“等保”、“密评”双资质，作为全国网络安全标准化技术委员会和全国数据标准化技术委员会成员单位，深度参与网络安全与数据安全标准化工作。
📍发表于：中国 北京
