摘要：这项由香港科技大学（广州）的史景泽、吴一凡、吴冰恒，以及北京智源人工智能研究院的王良东、刘光，还有SmallDoges团队的彭艺然和骆雨雨共同完成的研究发表于2025年8月，研究论文可通过arXiv:2508.02124v1访问。这项研究解决了一个让所有大语言

这项由香港科技大学（广州）的史景泽、吴一凡、吴冰恒，以及北京智源人工智能研究院的王良东、刘光，还有SmallDoges团队的彭艺然和骆雨雨共同完成的研究发表于2025年8月，研究论文可通过arXiv:2508.02124v1访问。这项研究解决了一个让所有大语言模型都头疼的问题：如何在处理超长文本时既保持聪明，又不让计算成本飞上天。

要理解这个问题，我们可以把大语言模型想象成一个非常专注的学生。当这个学生需要阅读一篇很长的文章来回答问题时，传统的方法要求他必须同时关注文章中的每一个字，甚至是每两个字之间的关系。文章有1000个字，他就需要处理100万个字与字之间的关系；文章有10000个字，关系数量就暴增到1亿个！这就像让一个人同时记住一座图书馆里每本书与其他所有书的关系一样，既累人又低效。

现有的解决方案就像给学生戴上了各种特殊眼镜。有些眼镜只能看到附近的文字（滑动窗口注意力），有些眼镜把所有文字都模糊处理（多头潜在注意力），还有些眼镜按照固定模式只看特定位置的文字（原生稀疏注意力）。但这些"眼镜"都有一个共同问题：它们不够智能，无法根据文章内容的重要性来动态调整关注重点。

研究团队提出的动态掩码稀疏注意力（Dynamic Mask Attention，简称DMA）就像给学生配了一副能够自动调节的智能眼镜。这副眼镜不仅能根据文章内容的重要程度自动调焦，还能让学生的不同"大脑区域"（多头注意力机制中的不同头）专注于不同类型的信息。更重要的是，这副眼镜是可以学习和训练的——随着学生阅读越来越多的文章，眼镜会变得越来越聪明，越来越知道什么时候该关注什么。

这项研究的创新之处在于它实现了真正的"内容感知"。传统方法就像盲人摸象，只能按照预设规则或固定模式来处理信息，而DMA能够真正"看懂"内容，然后决定哪些信息值得关注。研究团队还开发了专门的计算内核，让这种智能关注不仅仅停留在理论层面，而是能在实际硬件上高效运行，实现了从理论到实践的完整闭环。

一、语言理解任务中的三种天然稀疏模式

语言理解其实就像我们平时阅读文章一样，存在着天然的"重点筛选"规律。研究团队发现，在处理长文本时，AI模型需要掌握三种基本技能，就像学生在不同场景下需要不同的阅读策略。

第一种技能叫做"复制"，就像学生需要把课本上的某段话一字不差地抄写到作业本上。这种情况下，学生只需要关注固定距离的文字对应关系，比如看到"北京是"就知道后面应该跟着"中国的首都"。这种注意力模式表现出明显的位置规律性——重要的信息往往出现在特定的相对位置上。

第二种技能叫做"选择"，就像学生需要从一大段文字中挑出符合特定条件的内容。比如老师说"把所有动物名词找出来"，学生就需要在阅读时特别留意那些表示动物的词汇，而忽略其他内容。这种注意力模式主要依靠内容特征——什么样的词汇内容值得关注，与位置关系不大。

第三种技能叫做"归纳"，就像学生需要根据文章前面提到的信息来回答后面的问题。比如文章开头提到"小明喜欢苹果"，后来问题问"谁喜欢水果"，学生就需要能够建立"小明"、"苹果"、"水果"之间的关联关系。这种注意力模式需要在相关概念之间建立联想桥梁。

这三种不同的认知模式在人类阅读中非常自然。当我们读一篇文章时，大脑会自动切换模式：有时候我们专注于准确记忆某些关键信息，有时候我们在寻找特定类型的内容，有时候我们在思考不同概念之间的关系。研究团队意识到，如果能让AI模型也掌握这种灵活切换的能力，就能大大提高处理长文本的效率。

传统的注意力机制就像一个过分认真的学生，不管什么情况都要对每个字给予同等关注，结果既浪费精力又抓不住重点。而动态掩码稀疏注意力则像一个聪明的学生，能够根据当前任务的需要，自动调整注意力的分配策略。

二、传统多头注意力机制的工作原理

要理解新方法的巧妙之处，我们先来看看传统方法是如何工作的。传统的多头注意力机制就像一个配备了多个专用处理器的超级计算中心，每个处理器负责理解文本的不同方面。

当一个句子进入这个系统时，首先会被转换成三种不同的表示形式，研究人员称之为查询（Query）、键（Key）和值（Value）。这个过程就像把一篇文章同时制作成三种不同格式的副本：查询副本用于提问，键副本用于索引，值副本包含实际内容。具体来说，对于输入的每个词汇，系统会通过三个不同的变换矩阵，分别产生这三种表示。

这种设计的巧妙之处在于，它让系统能够同时从多个角度理解同一段文本。每个注意力头就像一个专门的分析师，有的专注于语法结构，有的关注语义关系，有的负责长距离依赖。每个头都有自己的查询、键、值变换矩阵，因此能够捕捉到不同类型的语言模式。

在实际计算过程中，系统需要计算每个查询与所有键之间的相似度分数。这就像学生在回答问题时，需要评估问题与课本中每个知识点的相关程度。然后，系统会根据这些相似度分数，对所有的值进行加权平均，得到最终的输出。

但是这种方法有一个致命问题：计算复杂度随文本长度的平方增长。如果文本有1000个词，系统需要计算100万次相似度；如果文本长度翻倍变成2000个词，计算量就变成400万次，增长了4倍！这就像让一个学生不仅要记住图书馆里每本书的内容，还要记住每本书与其他所有书的关系，随着图书馆规模的扩大，这个任务很快就变得不可能完成。

更麻烦的是，在处理长文本的实际应用中，比如阅读长篇小说或分析长篇报告，系统需要维护一个巨大的"记忆库"，存储所有历史信息的键和值。这个记忆库不仅占用大量存储空间，而且每次处理新信息时都需要与整个记忆库进行交互，导致计算开销急剧增加。

三、现有稀疏注意力方法的局限性

面对传统方法的计算瓶颈，研究者们想出了各种"偷懒"的策略，试图在保持性能的同时减少计算量。这些方法就像给过度认真的学生戴上了不同类型的特制眼镜，限制他们只能看到部分内容。

滑动窗口注意力就像给学生配了一副近视眼镜，只能清楚看到附近的文字。这种方法假设最重要的信息总是在当前位置的附近，因此每个词只需要关注前后固定范围内的其他词汇。这确实大大减少了计算量，但问题是有些重要信息可能距离很远。比如文章开头提到的关键概念，在文章结尾需要引用时就看不清了。

多头潜在注意力则像给学生配了一副有色眼镜，把所有信息都进行了压缩处理。这种方法通过数学变换把高维信息压缩到低维空间，就像把一幅高清照片压缩成缩略图。虽然处理速度快了，但细节信息也丢失了，有时候那些看似不重要的细节恰恰是理解全文的关键。

原生稀疏注意力采用了更复杂的策略，就像给学生配了一副有特殊镜片的眼镜，按照预设的模式只看特定位置的文字。这种方法会同时关注附近的词汇、固定间隔的远距离词汇，以及一些全局重要位置的词汇。这种设计考虑了不同类型的语言依赖关系，但问题在于这些模式是固定的，无法根据具体内容进行调整。

除了这些注意力机制本身的改进，还有一类方法专注于优化"记忆管理"。这些方法就像帮学生整理笔记，试图只保留最重要的历史信息。有些方法会定期清理记忆库，扔掉看起来不重要的信息；有些方法会把信息按块组织，只保留每块的摘要；还有些方法会使用抽样或哈希技术来近似处理大量信息。

但是这些现有方法都面临一个共同的根本问题：它们都是"事后补救"的方案。就像先让学生死记硬背所有内容，然后再想办法忘掉一部分。这种做法不仅效率低下，还可能丢失关键信息。更重要的是，这些方法大多只优化推理过程，而忽略了训练过程的效率，导致在开发更强大的长文本模型时仍然面临巨大的计算瓶颈。

四、动态掩码稀疏注意力的核心创新

动态掩码稀疏注意力的设计哲学完全不同于传统方法。如果说传统方法是让学生戴上限制性眼镜，那么这种新方法就是培养学生的"智能阅读"能力，让他们学会根据内容重要性主动分配注意力。

这种方法的第一个核心创新是"内容感知的动态稀疏掩码"。与其让系统按照固定规则或预设模式来决定关注什么，不如让系统自己学会判断哪些信息真正重要。这个过程就像训练一个聪明的学生，不是告诉他"总是看第3、7、11个词"，而是教会他"根据当前问题的需要，判断哪些词汇最相关"。

具体实现上，系统会分析所有历史信息的"值"表示，然后通过一个可学习的评估机制，为每个历史位置生成一个重要性分数。这个评估机制包含两个关键参数：一个叫做"采样权重"，控制对当前输入的关注程度；另一个叫做"门控参数"，提供精细的选择控制。通过这种设计，系统能够学会识别什么样的内容模式值得关注。

更巧妙的是，这种评估不是一刀切的，而是为多头注意力机制中的每个头都生成独特的掩码。这就像让学生的不同思维模式（语法分析、语义理解、逻辑推理等）都有各自的关注重点。有些头可能更关注近距离的语法关系，有些头可能更关注远距离的主题连贯性，每个头都能发挥自己的专长。

第二个核心创新是"位置感知的稀疏注意力计算"。一旦系统确定了哪些历史信息值得关注，就需要高效地计算这些信息的影响。传统方法即使知道大部分位置不重要，仍然需要计算所有位置的注意力分数，然后再把不重要的部分置零。这就像明知道考试只考某几章内容，却仍然要把整本书都读一遍。

新方法则彻底跳过了那些被掩码标记为无关的位置的计算。当系统发现某个历史位置的掩码值为负无穷时，就直接将对应的注意力权重设为零，完全不进行查询与键之间的乘积运算。这种"硬件级别的跳跃"不仅在理论上减少了计算复杂度，更重要的是在实际运行时能够显著提升速度。

这种设计还保证了完全的可微分性，这对于深度学习系统的训练至关重要。虽然掩码生成过程涉及top-k选择这样的离散操作，但研究团队巧妙地设计了梯度流动机制，确保被掩码的位置确实应该获得零梯度，而未被掩码的位置能够正常接收学习信号。这就像让学生不仅学会考试时如何分配注意力，还能在平时练习中不断改进这种分配策略。

五、算法的数学设计与计算优化

动态掩码稀疏注意力的数学设计非常精巧，它将抽象的"内容重要性评估"转换为具体的可计算公式。整个过程可以分为两个紧密配合的阶段：动态权重生成和稀疏注意力计算。

在动态权重生成阶段，系统首先对所有历史的"值"表示进行智能采样。这个采样过程使用了一个叫做"零阶保持"的数学技巧，确保生成的权重在不同序列长度下都保持稳定。系统会计算一个动态注意力权重δ，公式为δ = exp(τ(vΔ) × A)，其中v是值矩阵，Δ是采样权重矩阵，A是门控参数，τ是非负激活函数。

这个公式的巧妙之处在于它的每个组成部分都有明确的功能。采样权重Δ就像一个"遗忘门"，较大的Δ值会让系统更关注当前输入，较小的Δ值则倾向于保持对历史信息的记忆。门控参数A提供了更精细的控制，能够对不同注意力头进行差异化调节。非负激活函数τ确保最终的权重都是正数，这样就能强化而不是抑制注意力信号。

接下来，系统会将这些动态权重与因果掩码结合，生成最终的稀疏掩码。因果掩码确保模型只能看到历史信息，不能"偷看"未来，这对于语言生成任务至关重要。然后系统会执行top-k选择，只保留权重最高的k个历史位置，其他位置的掩码值被设为负无穷。这样，每个注意力头在每个时间步最多只需要关注k个历史位置，而不是所有历史位置。

在稀疏注意力计算阶段，系统只对那些通过掩码筛选的位置进行实际的注意力计算。对于被掩码的位置，系统会直接跳过查询-键相似度计算，将对应的注意力权重设为零。这种"硬跳跃"不仅节省了大量计算，还避免了无意义的数值运算。

研究团队还专门分析了这种优化的数学正确性。他们证明了在前向传播中，被掩码位置的注意力权重必然为零，因此跳过计算与完整计算的结果完全一致。在反向传播中，被掩码位置的梯度也应该为零，因为这些位置对最终输出没有贡献。这确保了优化后的算法在数学上与原始算法等价，不会引入任何近似误差。

为了实现硬件级别的加速，研究团队还开发了专门的计算内核。这些内核能够在GPU上高效地检测和跳过被掩码的计算块，充分利用现代GPU的并行计算能力。实验结果显示，这种硬件优化能够在长序列场景下实现10倍以上的加速，真正将理论上的复杂度优势转化为实际的性能提升。

六、实验设计与性能验证

为了全面验证动态掩码稀疏注意力的有效性，研究团队设计了一系列层次递进的实验，就像对一个新发明的工具进行全方位的性能测试。

首先是规模化定律实验，这就像测试工具在不同工作强度下的表现。研究团队在SmolLMCorpus数据集上训练了从8000万参数到17亿参数的不同规模模型，每个模型都严格遵循Chinchilla最优训练协议。在这个实验中，他们比较了多头注意力、滑动窗口注意力、多头潜在注意力、原生稀疏注意力和动态掩码稀疏注意力的困惑度表现。

结果显示，动态掩码稀疏注意力在所有参数规模下都取得了最优的困惑度，证明了这种方法的可扩展性。更重要的是，随着模型规模的增大，动态掩码稀疏注意力相对于其他方法的优势还在逐步扩大，这表明这种方法特别适合于大规模模型的训练。

接下来是多查询关联回忆任务，这是一个专门设计的挑战性任务，就像给学生出一道特别难的综合题。在这个任务中，模型需要从包含512个键值对的长序列中准确找到与查询相关的信息。为了增加难度，研究团队还在序列中加入了大量无关的随机词汇，迫使模型必须具备精确的信息检索能力。

实验结果表明，动态掩码稀疏注意力在各种序列长度下都表现出色，特别是在处理4096和8192长度的序列时，优势更加明显。这说明随着序列长度的增加，内容感知的动态选择机制发挥了越来越重要的作用。同时，在推理速度测试中，动态掩码稀疏注意力也展现出了显著的加速效果，在长序列场景下比传统多头注意力快了85%以上。

研究团队还专门测试了不同计算内核实现的性能。他们比较了CUDA、Triton和Flex三种不同的内核实现，在各种硬件配置下进行了详尽的性能测试。结果显示，CUDA实现在大多数场景下都能取得10倍以上的加速，特别是在长序列处理中，加速比甚至达到了15倍。这证明了算法的理论优势能够在实际硬件上得到充分体现。

最重要的是大规模模型对比实验。研究团队使用Qwen3架构训练了三个17亿参数的模型：多头注意力基线、原生稀疏注意力和动态掩码稀疏注意力。所有模型都在320亿个高质量Token上进行预训练，然后在80亿个长序列Token上进行第二阶段训练。

这三个模型在标准基准测试中的表现令人印象深刻。动态掩码稀疏注意力模型在大多数任务上都超越了其他两种方法，特别是在Pile困惑度、LAMBADA准确率、MMLU推理等任务上表现突出。更关键的是，在"大海捞针"测试中，当上下文长度超过预训练序列长度时，动态掩码稀疏注意力展现出了更强的长度外推能力，性能下降幅度明显小于其他方法。

七、技术优势与创新突破

动态掩码稀疏注意力相比现有方法的优势，就像智能手机相比传统座机的革命性改进，不仅仅是功能上的增强，更是整个工作paradigm的根本性变革。

最核心的突破在于实现了真正的"原生可训练稀疏性"。以往的方法就像先建造了一座完整的房子，然后再把不需要的房间封起来，既浪费资源又可能影响整体结构。而动态掩码稀疏注意力从设计之初就知道哪些"房间"是必需的，哪些可以省略，从而在保持完整功能的同时大幅减少资源消耗。

这种原生稀疏性的另一个重要优势是它保持了完整的信息保真度。传统稀疏方法为了减少计算量，往往需要对信息进行压缩或截断，就像把高清电影压缩成标清版本。而动态掩码稀疏注意力则保留了完整的键值缓存，只是智能地选择关注哪些部分，就像拥有高清电影的完整版本，但能够智能地决定观看哪些片段。

在训练和推理的统一性方面，这种方法也实现了重要突破。大多数现有的稀疏方法只优化推理过程，训练时仍然需要使用昂贵的密集计算。这就像让学生平时用复杂的方法学习，考试时却要求用简化的方法作答，两者之间的不一致可能导致性能损失。动态掩码稀疏注意力在训练和推理中使用完全相同的稀疏化策略，确保了模型能够学到最适合实际应用的注意力模式。

完全可微分的设计是另一个重要创新。虽然掩码生成过程涉及top-k选择这样的离散操作，但研究团队巧妙地设计了梯度传播机制，确保整个系统能够端到端地进行优化学习。这就像设计了一个既能精确控制又能持续改进的自适应系统。

在多头注意力机制的利用上，动态掩码稀疏注意力也展现出了独特优势。传统方法中，所有注意力头都使用相同的稀疏模式，就像让所有专家都戴上相同的有色眼镜。而新方法允许每个注意力头生成自己独特的注意力掩码，让语法分析专家、语义理解专家、逻辑推理专家等都能按照各自的专业需求来分配注意力。

硬件友好性是这种方法的另一个显著优势。研究团队不仅设计了高效的算法，还开发了专门的计算内核，能够在现代GPU上实现真正的计算跳跃。这种硬件级优化让理论上的复杂度改进转化为实际的性能提升，在长序列处理中实现了10倍以上的加速。

八、实际应用价值与影响

动态掩码稀疏注意力的实际应用价值远超理论创新本身，它为解决当前大语言模型面临的核心挑战提供了一条切实可行的路径。

在长文档处理方面，这种技术能够让AI系统更高效地处理法律文件、学术论文、技术手册等长篇内容。传统方法在处理几万字的文档时往往力不从心，要么因为计算复杂度过高而无法处理，要么因为信息压缩而丢失关键细节。动态掩码稀疏注意力则能够在保持完整信息的同时，智能地识别和关注与当前查询最相关的部分，就像一个经验丰富的研究助理能够快速定位文档中的关键信息。

在代码生成和软件开发辅助方面，这种技术的价值更加明显。现代软件项目往往包含数百万行代码，AI助手需要理解整个代码库的结构和逻辑才能提供有效帮助。动态掩码稀疏注意力能够让AI系统在生成新代码时，自动关注相关的函数定义、变量声明和依赖关系，而忽略无关的代码片段。这不仅提高了生成代码的质量，还大大减少了处理时间。

在多轮对话和智能代理应用中，这种技术也展现出巨大潜力。随着对话历史的不断积累，传统方法需要处理越来越多的历史信息，计算成本呈平方增长。动态掩码稀疏注意力则能够智能地维护对话的核心脉络，在需要时准确回忆相关的历史信息，在不需要时有效忽略冗余内容。这让AI助手能够进行更长时间、更复杂的对话交互。

对于需要深度推理的复杂任务，比如数学证明、科学分析、战略规划等，这种技术的优势更加突出。这类任务往往需要在长篇的推理过程中保持逻辑一致性，同时能够灵活调用相关的背景知识。动态掩码稀疏注意力让AI系统能够在推理过程中动态调整注意力分配，既保持推理链条的完整性，又避免被无关信息干扰。

从产业发展角度看，这种技术降低了开发和部署大规模语言模型的门槛。以往只有资源雄厚的大公司才能承担训练和运行超长上下文模型的成本，现在中小规模的研究机构和公司也能够利用这种高效的注意力机制开发实用的长文本处理系统。这可能会催生更多创新的应用和服务。

九、方法局限性与未来发展方向

尽管动态掩码稀疏注意力取得了显著进展，但研究团队也坦诚地指出了当前方法的局限性和未来的改进空间。

最主要的局限在于窗口大小的自适应选择问题。目前的方法需要预设一个固定的窗口大小，就像给学生配了一副度数固定的眼镜。虽然这副眼镜已经很智能，能够自动调焦寻找重要信息，但在不同任务中可能需要不同的"度数"。比如处理代码时可能需要较大的窗口来理解复杂的函数依赖关系，而处理简单问答时可能只需要小窗口就足够了。

未来的改进方向可能包括开发自适应窗口大小选择机制。这可能需要结合强化学习或元学习技术，让系统能够根据任务复杂度、序列长度和内容特征来动态调整窗口参数。另一种可能的方案是设计层次化的多尺度注意力结构，同时捕捉不同范围的依赖关系。

位置编码的改进是另一个重要方向。研究团队在"大海捞针"实验中发现，动态掩码稀疏注意力在长度外推方面表现更好，这暗示稀疏注意力机制可能为改进位置编码提供了新思路。传统的RoPE位置编码在处理超出训练长度的序列时容易失效，而动态掩码稀疏注意力的采样机制可能天然地包含了位置信息的编码。

多模态扩展是一个充满挑战但前景广阔的方向。目前的方法主要针对文本序列设计，但现实中的AI系统越来越需要同时处理文本、图像、音频等多种模态的信息。不同模态之间的注意力模式可能存在显著差异，需要设计专门的跨模态动态掩码生成机制。

在理论分析方面，虽然实验结果很有说服力，但对于为什么动态掩码稀疏注意力能够取得更好性能，还需要更深入的理论理解。这可能涉及信息论、优化理论和学习理论等多个领域的交叉研究。

从工程实现角度看，还有很多优化空间。比如如何更好地利用现代硬件的特性，如何在分布式训练中高效实现动态掩码计算，如何进一步减少内存占用等。这些工程问题的解决对于技术的广泛应用至关重要。

十、对AI发展的深远意义

动态掩码稀疏注意力不仅仅是一个技术改进，它代表了AI系统设计思路的重要转变。这种转变的意义可能远超当前的应用范围，对整个人工智能领域的发展具有深远影响。

首先，这种方法体现了从"暴力计算"向"智能计算"的paradigm转换。传统的深度学习往往依赖更大的模型、更多的数据和更强的计算力来提升性能，这种路径虽然有效但成本高昂且不可持续。动态掩码稀疏注意力则展示了通过更聪明的算法设计来提升效率的可能性，这种思路对于AI技术的可持续发展具有重要意义。

其次，这种方法在训练和推理阶段使用统一策略的设计理念，可能会影响未来AI系统的整体架构设计。长期以来，研究者习惯于分别优化训练和推理过程，但这种分离可能导致次优的整体性能。动态掩码稀疏注意力证明了端到端优化的价值，这可能启发更多类似的统一设计。

从认知科学角度看，这种动态注意力机制更接近人类的认知过程。人类在处理信息时会自然地根据任务需要分配注意力资源，而不是对所有信息给予同等关注。这种仿生设计不仅提高了效率，也可能让AI系统的行为更加可解释和可预测。

在更广泛的应用层面，这种技术可能会催生新的应用模式。比如，能够高效处理长文本的AI系统可能会改变我们处理信息的方式，从依赖人工摘要转向AI辅助的智能阅读。在教育领域，这种技术可能让AI导师能够理解和跟踪学生的完整学习历程，提供更个性化的指导。

从产业发展角度看，这种技术降低了AI应用的门槛，可能会促进AI技术的民主化。中小企业和个人开发者也能够开发出处理复杂长文本任务的应用，这可能会带来更多样化和创新的AI产品和服务。

说到底，动态掩码稀疏注意力为我们展示了AI系统设计的新可能性。它不是简单地让计算机跑得更快，而是让计算机学会更聪明地思考。这种从量变到质变的转换，可能正是通向更加智能和高效的AI系统的关键路径。随着这种技术的不断完善和推广，我们有理由期待AI系统在理解和处理复杂信息方面取得更大的突破，最终更好地服务于人类社会的各种需求。

Q&A

Q1：动态掩码稀疏注意力是什么？它和传统方法有什么不同？

A：动态掩码稀疏注意力是一种让AI更聪明地分配注意力的新技术。传统方法要求AI同时关注文本中的每个词，就像让学生同时记住图书馆里每本书与其他所有书的关系。而动态掩码稀疏注意力让AI学会根据内容重要性主动选择关注重点，就像给学生配了一副能够自动调节的智能眼镜，能根据文章内容自动调焦。

Q2：这种技术能带来多大的性能提升？

A：实验结果显示，动态掩码稀疏注意力在长序列处理中比传统方法快85%以上，在某些硬件配置下甚至能实现15倍加速。更重要的是，它在保持甚至提升模型性能的同时实现了这种加速，在多个基准测试中都超越了现有的稀疏注意力方法。

Q3：动态掩码稀疏注意力有什么实际应用价值？

A：这种技术特别适合处理长文档、代码生成、多轮对话等需要理解大量上下文信息的任务。比如AI可以更高效地分析法律文件、帮助程序员理解大型代码库、进行更长时间的复杂对话交互。它降低了开发大规模语言模型的门槛，让更多机构能够开发实用的长文本处理系统。

来源：至顶网