随着大语言模型（LLM）能力的提升，“越狱”攻击层出不穷，引发对模型安全风险的广泛关注。然而，现有评估方法存在诸多弊端，如关键词检测忽略语义、LLM法官主观性强，导致评估结果偏差巨大。为此，香港科技大学王帅老师课题组提出了全新的GuidedBench评估框架，包含高质量问题库和精细化评分指南。通过在GuidedBench上的实验发现，主流越狱方法的实际成功率远低于宣称值，普遍不超过30%，部分方法甚至失效。这一研究揭示了过往评估方式的局限性，强调了对LLM安全风险进行细粒度、客观评估的重要性，为未来模型安全加固提供了新思路。

🎯 **现有越狱评估方法存在严重缺陷**：传统的关键词检测忽略语义信息，容易误判；LLM法官评判缺乏统一标准，主观性强，导致评估结果差异巨大且不可靠。例如，模型即使生成有害内容，也可能因未使用特定“拒绝”词汇而被误判为安全。

💡 **GuidedBench提供精细化、客观的评估新范式**：该框架包含一个精心构建的200道题库，覆盖20类有害主题，并为每道题设计了“评分指南”。指南从攻击者视角出发，列出攻击成功需要包含的关键实体和步骤，并据此进行“拆解式评分”，确保了评估的粒度和客观性。

📉 **“100%成功率”是误导，实际越狱成功率远低于预期**：通过GuidedBench评估发现，即使是声称成功率高达90%+的攻击方法，在新的评估基准下成功率也普遍不超过30%，如AutoDAN成功率仅为29.45%。这表明过往过高的成功率统计可能源于评估方法的偏差，我们对模型安全性的认知需要修正。

🔍 **越狱攻击揭示的安全风险需细粒度分析**：研究发现，在儿童犯罪、恐怖主义等敏感议题上，多数模型仍表现出强大的防护能力。模型在不同议题上的表现差异，以及与特定攻击方式的耦合关系，提示我们需要深入研究越狱攻击具体揭示了哪些LLM安全风险，以指导更有效的模型加固。

原创 让你更懂AI的 2025-07-23 09:31 北京

模型真的越狱了吗？

随着大语言模型的能力爆发，各种“越狱（Jailbreak）”方法也如雨后春笋般涌现。它们通过巧妙的提示词、对话设定，甚至中间层改写，迫使模型“说出不能说的话”，对社会具有严重的潜在安全风险。

问题来了：这些攻击方法到底有多强？它们所揭示的 LLM 安全风险是否被夸大了？

为了回答这个问题，来自港科大的王帅老师课题组系统评估了自 2022 年以来具有代表性的 37 种分属 6 个类别的 LLM 越狱攻击方法，并提出了全新的基于内容指南的 GuidedBench 评估框架，这一新评估范式或将成为 LLM 越狱领域的 “Last Exam”。

论文标题：

GuidedBench: Measuring and Mitigating the Evaluation Discrepancies of In-the-wild LLM Jailbreak Methods

论文链接：

https://arxiv.org/pdf/2502.16903

项目主页：

https://sproutnan.github.io/AI-Safety_Benchmark/

为什么我们需要重新评估越狱？

目前主流的 Jailbreak 评估方式，大致分为两类：

1. 关键词检测：比如模型有没有说出 “sorry” “I cannot help you” 这样的关键短语；

2. LLM 法官：让另一个模型判断这段话是否“有害”。

但这些方法存在严重问题：

1. 关键词判断不考虑语义信息，极易误判（比如模型回复“我会教你如何非法制作炸弹”也会因包含“非法”被判失败）；

2. LLM 法官缺乏细节标准，不同模型评判主观不一，导致需要额外微调专门的法官模型；

多个研究即使用相同数据集和模型，成功率却差异巨大，评估方法的缺陷是其重要原因。

▲ 图：有害问题要求一个秘密克隆借记卡的解决方案。尽管越狱响应使用了讽刺的语气，但它仍然包含了一些有害信息。然而，基线错误地将其判断为无害，主要是被其语气误导。而 GuidedBench 正确地识别了可能帮助攻击者在越狱响应中获取有害信息的部分，并给出了合理的评分。

GuidedBench：为每道题配“标准答案”的越狱考卷

为了解决这个根本问题，港科大团队提出了 GuidedBench，包含一个有害问题数据集和一个新的评估框架——GuidedEval。

1. 数据集：团队从现有 6 大主流数据集中，精挑细选、人工改写、结构优化，最终构建了一个覆盖 20 类有害主题的 200 道高质量问题库，所有问题都通过多模型验证能被默认拒答。

2. GuidedEval：每一道题目，团队都为其制定了一套来自攻击者视角的“评分指南”，包括：

要提到哪些关键实体（如炸弹原料、制造工具）；

要提供哪些关键步骤（如获取材料、组装流程）；

只要模型输出中出现了这些“评分点”，就会得到相应的分数。相比以往依靠“拒不拒答”、“是否有害”“是否有用”等模糊标准，GuidedEval 给出了细粒度、客观的“拆解式评分”方法。

▲ 图：GuidedEval 评分框架

真实评估结果：“100% 成功率”是幻觉

团队使用 GuidedBench 对 10 种主流 Jailbreak 方法在 5 个主流模型上进行了评估，结果发现没有一个方法的攻击成功率（ASR）超过 30%，像曾宣称 ASR 达 90%+ 的 AutoDAN，在本基准下仅得 29.45%；有的方法甚至直接归零，在多个模型上几乎无效。

这说明，由于过往越狱攻击评估方式的缺陷，过度乐观的“成功率”正在误导我们对模型安全性的认知。

评估洞察：这场考试的真正意义

1. 常用的“关键词打分法”该被淘汰了

关键词检测系统不仅误判率高，而且经常给出与人类直觉或 LLM 评估完全相反的结论。

GuidedEval 显著降低了此类误判。在三种不同的 LLM （DeepSeek-v3, Doubao, GPT-4o）作为法官的情况下，使用 GuidedEval 所产生的“法官间一致性”达到 94.01%，方差相比基线至少减少了 76.03%，并减少了由于评估规则不明确而导致的极端分数占比。这表明使用 GuidedBench 评估越狱攻击不再需要特殊微调的法官模型，增强了评估的说服力。

▲ 图：不同基于 LLM 的评估指标方差

2. 越狱揭示的安全风险需要细粒度调查

在使用 GuidedBench 进行评估时，作者发现即便面对目前最先进的攻击方法，在一些高度敏感的议题上，如儿童犯罪、恐怖主义等，大多数模型依然表现出极强的防护能力，几乎没有成功越狱的情况。

这种模型差异性不仅源于其训练机制和安全策略的不同，还与具体的攻击方式高度耦合，揭示了攻击方法与模型漏洞之间错综复杂的关联性。

正因如此，作者建议后续的越狱攻击研究者不仅应升级评估方式，还应系统性地研究所提的越狱攻击方法究竟揭示了什么具体的 LLM 安全风险，真正识别ASR背后的规律与隐患，为未来的模型安全加固提供可靠依据。

更多阅读