摘要：华为AI算法团队研究并发表的大模型KV Cache压缩算法“RazorAttention”，节省70%大模型推理内存占用，其论文《RazorAttention: Efficient KV Cache Compression Through Retrieval

[中国，深圳，2025年1月24日] 华为AI算法团队研究并发表的大模型KV Cache压缩算法“RazorAttention”，节省70%大模型推理内存占用，其论文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已于2025年1月23日被深度学习领域国际顶级会议ICLR 2025收录。

RazorAttention论文摘要

此算法为业界首个基于Attention可解释性的离线静态KV Cache压缩算法，打破了过去AI大模型长序列KV Cache压缩不理想的现状，通过检索头（retrieval heads）的设置，确保上下文中重要且主要的信息不丢失，在保持高精度（误差小于1%）的情况下，静态有效压缩了最大到70%的KV Cache内存占用，可以为用户大大节约AI大模型推理的成本。

目前RazorAttention算法已产品化集成在昇腾MindIE/MindStudio，支持主流8K~1M长序列KV Cache压缩，32K以上场景增量吞吐提升20%+。

ICLR是公认的深度学习领域国际顶级会议之一，特别专注有关深度学习各个方面的前沿研究，值得注意的是，ICLR在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。

来源：华为计算