为了解决大型语言模型 (LLM) 在大型多类分类任务中出现的分类错误和词汇表外类别标签生成问题，研究人员提出了一种名为“释义聚合 (PAG)-LLM”的方法。该方法通过生成输入查询的多个释义（平行查询）来提高 LLM 的分类精度。PAG-LLM 对原始查询和每个释义进行多类分类，并根据置信度分数聚合所有分类标签。这种方法特别适用于 LLM 不确定的困难示例，可以有效减少关键的误分类和幻觉标签生成错误。

😊 **释义生成与聚合：**PAG-LLM 通过生成输入查询的多个释义来增强 LLM 的分类能力。它对原始查询和每个释义进行分类，并根据置信度分数聚合所有分类标签。这种方法可以有效减少 LLM 在处理复杂和模糊的查询时的分类错误。例如，在 CLINC 数据集中，PAG-LLM 生成的释义可以帮助 LLM 识别出原始查询中可能存在的歧义，从而做出更准确的分类决策。

🤔 **解决词汇表外标签问题：** PAG-LLM 在处理词汇表外 (OOV) 类别标签方面表现出色。通过生成释义，PAG-LLM 可以将 OOV 类别标签映射到已知的类别标签，从而有效地减少 OOV 标签的生成错误。例如，在 Banking 数据集中，PAG-LLM 生成的释义能够将原本无法识别的 OOV 类别标签映射到已知的金融类别标签，从而提高了分类的准确性。

📊 **实验结果验证：** PAG-LLM 在 CLINC 和 Banking 数据集上的实验结果表明，该方法能够显著减少分类错误。在 CLINC 数据集上，PAG-LLM 的错误率降低了 22.7%，在 Banking 数据集上降低了 15.1%。这些结果表明，PAG-LLM 能够有效地提高 LLM 在大型多类分类任务中的性能。

🚀 **未来展望：** PAG-LLM 的出现为解决 LLM 在大型多类分类任务中的挑战提供了新的思路。未来，研究人员可以进一步探索如何提高释义生成和聚合的效率，并将其应用于更广泛的领域，例如自然语言理解、机器翻译和知识图谱构建等。

💡 **PAG-LLM 的优势：** PAG-LLM 方法能够有效地减少大型语言模型在多类分类任务中的误分类和幻觉标签生成错误，提高了 LLM 的可靠性和鲁棒性。它特别适用于处理 LLM 不确定的困难示例，并为解决 LLM 在实际应用中的挑战提供了新的思路。

2024-06-29 17:09 湖北

大型语言模型（LLM）在大型多类分类任务中表现出色，但仍然存在分类错误，甚至生成了词汇表外的类别标签。

为了解决这些问题，提出了一种称为“Paraphrase and AGgregate (PAG)-LLM”的方法：

LLM生成输入查询的多个释义（平行查询）

对原始查询和每个释义执行多类分类

根据置信度分数聚合所有分类标签

该方法特别适用于LLM不确定的困难示例，可以减少关键的误分类和幻觉标签生成错误。

左侧的图展示了PAG-LLM的流程。在Figure 1(A)中，LLM对原始查询进行分类，只有当分类置信度低于阈值τ时，原始查询才会被提供给LLM以生成释义，这些释义随后再次被提供给 LLM进行分类。最后，LLM聚合来自释义和原始查询的预测类别标签。

展示了来自CLINC的示例，其中LLM分类了错误的标签（顶部示例）和词汇表外（OOV）类别标签（底部示例）。在顶部示例中，由PAG-LLM生成的释义使得可以做出正确的分类决策，并具有高置信度分数。因此，即使是简单的多数投票聚合也会导致正确的类别预测。在底部示例中，只有PAG-LLM生成的释义2能够正确分类，而其余的释义和原始查询则有OOV类别标签。PAG-LLM聚合了输入文本、释义、它们的标签和置信度，最终预测正确的类别标签。

两个大型多类分类数据集上评估了PAG-LLM：CLINC和Banking，并分别展示了22.7%和15.1%的错误减少。

在领域内（ID）CLINC 和 Banking(50%) 数据集上的性能。也在自一致性运行中使用了相同的微调（SFT）LLaMa-7B（第2行和第3行）。"Rand-seed" 表示使用不同随机种子训练的 6 个不同的 SFT LLaMa 的集成。"Vote" 表示采用多数投票策略来选择最终标签。对于第 6 行和第 8 行，在开发数据上调整了置信度阈值（对于 CLINC 和 Banking 分别表示为 τ=0.98 和 0.90），并且只有分类置信度较低的查询被提供给 PAG-LLM。最佳数字以粗体显示。P1、P2、P3、P4 代表来自先前工作的 4 个上下文学习（ICL）基线。

PAG-LLM在减少词汇表外（OOV）类别标签生成错误方面特别有效。

在 CLINC 和 Banking(50%) 的整体测试数据集（包括领域内 ID 和领域外 OOD 输入）上的性能。符号与上表中的相同。"All F1" 表示所有 ID + 1 个 OOD 类别的宏观 F1 分数（即，对于 CLINC 是 151 个类别，对于银行是 38 个类别）。"Avg" 表示 ID 和 OOD F1 分数的平均值。

https://arxiv.org/pdf/2406.17163Paraphrase and Aggregate with Large Language Models for Minimizing Intent Classification Errors

推荐阅读

• 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO

• 2024：ToB、Agent、多模态

• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！

• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）

---

欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。