华为AI团队发布创新大模型KV Cache压缩算法RazorAttention，该算法能有效节省高达70%的推理内存占用，为AI大模型高效运行提供支持。此算法为业界首个基于Attention可解释性的离线静态KV Cache压缩算法，突破了AI大模型长序列KV Cache压缩的瓶颈。通过检索头设置，在保证高精度（误差小于1%）的同时，静态压缩高达70%的KV Cache内存，显著降低AI大模型推理成本。目前，RazorAttention算法已集成在昇腾MindIE/MindStudio，支持主流8K~1M长序列KV Cache压缩，并在32K以上场景下实现20%以上的吞吐量提升。

🚀华为AI团队发布RazorAttention算法，显著降低大模型推理内存占用，节省高达70%。

🧠该算法基于Attention可解释性，通过检索头设置，确保重要信息不丢失，实现高精度压缩（误差小于1%）。

💰RazorAttention已产品化集成，支持8K~1M长序列KV Cache压缩，并显著提升32K以上长序列场景的吞吐量，降低大模型推理成本。

快科技1月24日消息，华为AI算法团队在人工智能领域取得了显著突破，他们研究并发表了一种创新的大模型KV Cache压缩算法，名为“RazorAttention”。

这一算法具有卓越的性能，能够有效节省高达70%的大模型推理内存占用，为AI大模型的高效运行提供了有力支持。

其论文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度学习领域国际顶级会议ICLR 2025收录。

华为表示，此算法为业界首个基于Attention可解释性的离线静态KV Cache压缩算法，打破了过去AI大模型长序列KV Cache压缩不理想的现状。

该算法通过检索头的设置，确保上下文中重要且主要的信息不丢失，在保持高精度（误差小于1%）的情况下，静态有效压缩了最大到70%的KV Cache内存占用，可以为用户大大节约AI大模型推理的成本。

目前RazorAttention算法已产品化集成在昇腾MindIE/MindStudio，支持主流8K~1M长序列KV Cache压缩，32K以上场景增量吞吐提升20%+。

【本文结束】如需转载请务必注明出处：快科技

责任编辑：随心

文章内容举报

]article_adlist-->