本文提出了一种名为关键表征微调（CRFT）的新方法，旨在提升大型语言模型（LLM）在思维链（Chain-of-Thought, CoT）推理任务中的准确性。研究发现，在复杂的推理过程中，模型内部存在对最终输出影响显著的关键表征。CRFT通过信息流分析（注意力分数和显著性分数）来定位这些关键表征，并利用低秩线性子空间进行监督微调，以优化这些表征。实验证明，CRFT在GSM8K等数据集上相比现有PEFT方法（如ReFT）取得了显著的性能提升，同时学习的参数量极少（仅为模型参数量的0.016%）。此外，CRFT还能有效应用于小样本学习场景，为提升LLM的推理能力提供了新的思路和高效的解决方案。

💡 CRFT通过信息流分析识别关键表征：该方法首先利用注意力分数和显著性分数来量化表征之间的信息交互，区分出“整合重要信息”和“调控后层表征”两类关键表征。具体通过Self-Referential Filtering（如SAF、SSF）和Multi-Referential Filtering（如MAF、MSF）策略来精确定位这些对模型输出有关键影响的表征。

🚀 低秩子空间干预优化关键表征：一旦识别出关键表征，CRFT便在冻结基础模型的同时，通过引入一个可学习的低秩线性子空间来优化这些表征。这种干预方式能够自适应地纠正关键表征，使其更准确地对齐推理任务的需求，从而显著提高模型的准确率。

🏆 性能卓越且参数效率高：在GSM8K数据集上，CRFT相较于LLaMA-2-7B和ReFT分别带来了18.2%和3.8%的准确率提升，而学习参数量仅占模型总参数量的0.016%，远低于其他参数高效微调（PEFT）方法，显示出极高的效率。

🌟 适应小样本学习场景：CRFT能够灵活地应用于小样本学习（few-shot learning）场景，例如在one-shot场景下能提升16.4%的准确率。研究还强调了区分不同部分（如问题与示例）的关键表征更新向量的必要性，进一步证明了CRFT的精细化优化能力。

让你更懂AI的 2025-07-28 13:32 北京

期刊/会议：

ACL 2025

论文地址：

https://arxiv.org/abs/2507.10085

作者机构：

阿里云智能-飞天实验室

论文关键词：

LLM reasoning，Chain-of-Thought，Parameter-Efficient Fine-Tuning

简要概述：分析定位在思维链推理中的关键表征（对最终输出产生显著影响的表征），并对这些关键表征进行干预，以提高结果的准确率。

引言

ReFT（https://arxiv.org/abs/2404.03592）是近期提出的一种 PEFT 方法，因其仅通过编辑表征空间即可显著提高参数效率而备受关注。

直接将 ReFT 方法应用于复杂的推理任务会导致性能不佳。因为该方法会修改每层开头和结尾固定位置的表征，而这些固定位置的表征对输出的影响是不确定的。我们观察到在复杂的推理任务中通常存在关键表征，对这些关键表征进行微调可以显著提升推理性能。

▲ 图1 ：在第一层（输入标记）中修改关键表征的示例。

如图 1 所示，对第一层的关键表征（token“a” 对应的表征）干预后，对输出产生了影响，这使得回答变为正确。

研究意义

我们提出了关键表征微调（CRFT），这是一种通过信息流分析来识别和优化关键表征的方法。CRFT 在监督学习框架下运行，在冻结基础模型的同时，动态优化低秩线性子空间中的关键表征。我们在八个数学和常识推理的基准和两个模型系列（LLaMA 和 Mistral）中验证了 CRFT 的有效性。

值得注意的是，我们的方法在 GSM8K 数据集上分别比 LLaMA-2-7B 和 ReFT 的准确率提高了 18.2% 和 3.8%，而学习的参数量仅为模型参数量的 0.016%，显著低于其他 PEFT 方法。

此外，CRFT 还能有效适应 few-shot 场景。其中，one-shot 的准确率提高了 16.4%。我们的工作凸显了表征级优化在 CoT 推理中尚未开发的潜力，为传统 PEFT 方法提供了一种轻量级但功能强大的替代方案。

CRFT

CRFT 包括定位关键表征以及干预关键表征这两个组件。

3.1 定位关键表征

一个表征是否为关键表征并不能由其自身决定，而是由其与其他表征的关系决定。因此，我们利用信息流并以注意力分数和显著性分数作为指标。

如图 2 所示，我们使用网格来可视化表征间的信息交互，其中单元格  表示表征  和表征  之间的信息交互。单元格  的值由注意力分数或显著性分数表示，颜色越深表示信息交互越丰富。