2024-10-20 22:28 浙江
Datawhale赛事
主办单位：中国计算机学会 （CCF）
大模型技术蓬勃发展，大模型应用潜在的安全风险与隐患也日益凸显，引起国内外广泛关注和担忧。确保大模型准确响应用户指令并保证输出内容的安全合规性，对于其在实际业务场景中的应用至关重要。
赛事概况
针对前述问题，中国计算机学会（CCF）作为主办单位，中国计算机学会大模型论坛执行委员会（CCF FoLM）作为承办单位，携手清华大学基础模型研究中心举办了CCF 大模型安全挑战赛活动。本届挑战赛自 2024 年 6 月 20 日启动，2024 年 8 月 6 日截止。挑战赛设置两个赛道任务：「通用的大模型目标劫持」和「内容安全检测器的红队攻击」，吸引了来自全国各地的数十所高校、科研院所及相关企业共计「679」支参赛队伍。
获奖情况
本次赛事奖金池总计人民币 30 万元，每个赛道分别设置 15 万元。具体获奖情况如下所示：
赛道 1：「通用的大模型目标劫持」
赛题背景：确保大模型准确响应用户指令，对其在实际业务中的应用至关重要。然而，大模型面临任务指令被劫持的风险，即通过在初始任务指令后添加劫持指令，令模型放弃初始任务而执行特定劫持任务，严重影响其可用性
赛题描述：主办方为大模型设定初始任务，参赛者需要设计攻击指令进行劫持，使大模型放弃初始任务而执行主办方指定的目标任务。
获奖团队：
赛道 2：「内容安全检测器的红队攻击」
赛题背景：对大模型生成内容进行安全检测，是确保其安全输出的重要环节。然而，随着大模型语言能力的增强，其可能通过丰富的语言技巧生成隐式的不安全内容，绕过内容安全检测，导致不安全输出
赛题描述：参赛者自主构建 query-response 的单轮对话，诱导内容安全检测模型误判对话回复的安全性
获奖团队：
颁奖仪式
颁奖仪式将于「10月26日」于浙江横店举行的 CNCC2024-大模型的安全与超级对齐论坛举行，届时论坛主席及来自相关支持单位的嘉宾将为获奖队伍颁发证书，并对他们的优异表现给予表彰。
CNCC2024-大模型的安全与超级对齐论坛由 CCF 大模型论坛常务委员、清华大学黄民烈教授；中国人民大学严睿教授担任共同主席，汇聚了来自各个领域的专家学者，共同探讨大模型及超级智能所面临的安全挑战与对齐问题。与会专家将分享最新研究成果，交流实践经验，致力于推动大模型技术的安全发展和负责任的应用。
组织信息
主办单位：中国计算机学会 （CCF）
承办单位：CCF 大模型论坛执行委员会 （CCF FoLM）
联合承办：清华大学基础模型研究中心
协办单位: OPPO 广东移动通信有限公司、蚂蚁技术研究院、北京并行科技股份有限公司、北京无问芯穹科技有限公司
平台方：阿里天池、HackingGroup
有任何疑问，请联系大赛组委会：llmsafetycomp@yeah.net
关于 2024 年中国计算机大会（CNCC）
2024 年中国计算机大会（CNCC）将于 10 月 24-26 日在浙江省东阳市横店举办，大会主题为“发展新质生产力，计算引领未来”。
CNCC 是一个宏观论述技术趋势的大会，具有规格高、规模大、内容丰富等特点，会议形式包括大会特邀报告、大会论坛、技术论坛、特色活动及展览。
CNCC2024 汇聚图灵奖获得者、两院院士、国内外顶尖学者、知名企业家等亲临大会，展望前沿趋势，分享创新成果。ACM、IEEE CS、IPSJ、KIISE 等国际计算机组织的代表也多次获邀现场参加这一盛会。
感谢所有参赛者的积极参与以及各支持单位的鼎力支持，期待大家相聚CNCC2024-大模型的安全与超级对齐论坛，共同为大模型的安全治理贡献力量！
一起“点赞”三连↓
