摘要：from flash_mla import get_mla_metadata, flash_mla_with_kvcachetile_scheduler_metadata, num_splits = get_mla_metadata(cache_seqlens
DeepSeek于2025年2月24日开源了FlashMLA，这是其“开源周”的首个重磅项目，旨在为大语言模型（LLM）的推理加速提供核心技术突破。
FlashMLA 是针对Hopper架构GPU优化的高效MLA解码内核，专为变长序列服务场景设计。
当前已发布特性：
BF16支持分页式kvcache（块大小为64）github star数噌噌飙升
python tests/test_flash_mla.py
在H800 SXM5（CUDA 12.6环境）上实现内存受限配置下3000GB/s的带宽吞吐，计算受限配置下580 TFLOPS的算力表现。
from flash_mla import get_mla_metadata, flash_mla_with_kvcachetile_scheduler_metadata, num_splits = get_mla_metadata(cache_seqlens, s_q * h_q // h_kv, h_kv)for i in range(num_layers):...o_i, lse_i = flash_mla_with_kvcache(q_i, kvcache_i, block_table, cache_seqlens, dv,tile_scheduler_metadata, num_splits, causal=True,)...优化多层注意力机制FlashMLA针对多层注意力（MLA）机制进行了深度优化。MLA是一种先进的注意力机制，通过将键-值（Key-Value）缓存压缩成一个潜在向量，显著减少了计算和内存需求。相比传统的多头注意力（MHA），MLA能够更高效地捕捉输入数据中的微妙关系，并同时处理多个方面，从而提升模型性能。支持可变长度序列
FlashMLA专门为处理可变长度的序列设计，适用于自然语言处理（NLP）中常见的长度不一的输入场景。它通过分页键-值缓存（块大小为64）等技术实现了精细的内存管理，确保在不同输入长度下都能保持高效率。提升推理性能
在H800 SXM5 GPU上，FlashMLA展现了卓越的性能：
在内存受限场景下，处理速度达到3000GB/s；
在计算受限场景下，计算能力达到580TFLOPS。
这种高性能表现使其能够在实际生产环境中稳定运行，并显著提升大型语言模型的推理速度。支持BF16精度
FlashMLA全面支持BF16（Brain Floating Point）精度，这种低精度浮点数格式能够在保持模型准确性的同时，进一步提升计算效率和速度。降低AI部署门槛
FlashMLA的开源发布为开发者提供了一个高效且免费的工具，使中小型团队和组织无需投入大量基础设施即可部署和定制先进的AI模型。这种“AI民主化”降低了技术门槛，让更多人能够接触和使用尖端AI技术。推动社区协作与创新
作为开源项目，FlashMLA鼓励开发者自由下载、修改和构建，激发社区协作与创新。这不仅推动了AI技术的发展，还可能催生基于FlashMLA的新应用和解决方案。提升效率与可持续性
FlashMLA通过优化计算资源使用，显著降低了模型推理的能耗和成本。这既减少了AI对环境的影响，也为企业提供了更经济的解决方案，推动了AI技术的可持续发展。巩固DeepSeek的领导地位
FlashMLA的发布展示了DeepSeek在AI技术创新方面的实力，进一步巩固了其在开源AI领域的领导地位。通过持续贡献高质量项目，DeepSeek为整个AI社区带来了重要价值。为未来技术奠定基础
FlashMLA在处理长序列和可变长度输入方面的优化，为下一代语言模型和多模态模型的开发提供了宝贵经验，可能成为未来AI技术进步的重要基石。
【星猿杂谈】：在这里我们共同探索科技新趋势，分享积累的点滴，从编程语言到系统架构，从人工智能到高性能计算，我们追求技术的进步，同时珍视分享的力量。欢迎关注我们，在技术的精彩世界中一起遨游，发现更多未知！
来源：蒜蓉味儿
免责声明：本站系转载，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与本站联系，我们将在第一时间删除内容!
