突破！百度智能云对象存储技术登榜“操作系统奥斯卡”

摘要：由ACM SIGOPS主办的国际顶级学术会议SOSP'25（Symposium on Operating Systems Principles）将于10月13日-16日在韩国首尔举办。作为全球操作系统与系统软件领域最具影响力的学术会议之一，SOSP是全球计算机

由ACM SIGOPS主办的国际顶级学术会议SOSP'25（Symposium on Operating Systems Principles）将于10月13日-16日在韩国首尔举办。作为全球操作系统与系统软件领域最具影响力的学术会议之一，SOSP是全球计算机领域公认的最高荣誉殿堂，被誉为操作系统研究领域的“奥斯卡”。历届SOSP收录的论文，往往代表该领域最前沿、最具影响力的研究成果，会对学术界与业界产生深远的影响。

值得关注的是，百度沧海・存储团队与中国科学技术大学、清华大学合作的论文《Mantle: Efficient Hierarchical Metadata Management for Cloud Object Storage Services》已正式被SOSP'25录用，中国团队在全球系统软件顶尖舞台上再一次发出了强有力的声音！

该论文详细介绍了百度智能云对象存储BOS的分布式层级Namespace系统Mantle的核心设计。Mantle成功攻克了困扰业界多年的难题，使得对象存储BOS的层级Namespace能够同时具备可扩展性与高性能，为AI时代的大数据上云彻底扫清了障碍。

注：标 * 为共同一作，其中Biao Cao为百度智能云高级架构师

传统对象存储的困境：层级Namespace难逃单机瓶颈

多年以来，HDFS一直是大数据存储的代名词。然而，随着数据规模的日益增大，其固有缺陷愈发凸显：其一，三副本机制导致存储成本高昂；其二，单Namenode的设计将文件规模限制在数亿级别，难以满足AI时代单桶百亿甚至千亿文件的扩展性需求；其三，复杂的运维工作对技术团队提出了极高要求。在此背景下，具备「低成本、无限扩展、云原生免运维」等优势的对象存储，迅速成为构建新一代数据湖存储底座的共识，以支撑更大数据规模的大数据计算业务。但一个关键瓶颈横亘眼前：传统对象存储采用的「平坦Namespace」难以高效支持依赖文件系统语义的大数据计算任务（如目录遍历、递归删除、路径重命名等），导致其在特定场景下的性能远不如HDFS。为了弥合这一鸿沟，业界普遍认为，为对象存储增加「层级Namespace」能力是必然趋势。但遗憾的是，主流云厂商的现有方案始终未能摆脱单机性能瓶颈，其扩展性与HDFS相比并无本质飞跃。

两大核心挑战：为何高性能的分布式层级Namespace如此难解？

构建一套面向大规模对象存储服务、真正分布式的层级Namespace，面临着两个长期未被攻克的严峻性能挑战：长路径解析开销巨大：解析一个深层文件路径，如/A/B/C/D/file.txt，需要多次网络通信，累积延迟极高，严重拖慢计算效率。传统的客户端缓存，在对象存储基于Restful API、无状态Proxy的架构下难以实施。而简单的并行路径解析方案，在高并发场景下又因线程过度调度而引发资源争抢，适得其反。分布式事务冲突频发：当数千乃至上万个计算任务并发地对同一目录进行创建、删除或重命名操作时，传统分布式事务机制会产生海量的读写冲突与重试，导致系统吞吐量断崖式下跌。即便放宽隔离级别等缓解手段，也难以根治跨目录重命名等复杂操作带来的根本性冲突问题。正因为如此，业界一直缺乏一种既能发挥对象存储成本与扩展性优势，同时又能媲美HDFS性能的真正可扩展、高性能的层级命名空间解决方案，导致「对象存储成为数据湖存储底座」的愿景，在实际落地中屡屡受阻。

Mantle：全球首个破局者——融合文件和对象存储的优势，构建数据湖坚实底座

百度沧海・存储研发的Mantle，正是全球范围内第一个公开的、完整解决上述两大难题，并成功经受了超大规模生产环境长期检验的「分布式层级Namespace系统」。Mantle创新性地将传统文件系统的强大语义优势，与新型对象存储的低成本、可扩展、云原生易运维特性完美融合，实现了革命性的突破，为EB级别的新一代数据湖打开了前所未有的想象空间。此次入选SOSP'25的论文，所阐述的正是这套兼具扩展性与卓越性能的方案，它标志着对象存储真正成为云原生数据湖的坚实底座。

卓越性能：延迟降低最高99.1%，吞吐提升最高115倍

分布式层级Namespace系统Mantle不仅解决了理论难题，更在实践中创造了令人惊叹的性能表现：极致性能：与Tectonic、InfiniFS和LocoFS等业界最新进展相比，Mantle将元数据访问延迟降低了6.6%至99.1%，吞吐量提高了0.07倍至115.00倍。业务加速：在交互式Spark分析场景，作业完成时间缩短了63.3%至93.3%。在AI驱动的音频预处理任务中，作业完成时间缩短了38.5%至47.7%。目前，Mantle已在百度智能云对象存储BOS的生产环境中大规模上线超过两年，提供了成熟可靠的服务。它为云上众多客户的大数据分析、人工智能、自动驾驶等关键业务提供了坚实、高效的存储底座。

不止于论文：百度沧海·存储元数据面结构的创新故事

关于Mantle论文技术解读，以及百度沧海·存储元数据面架构的创新故事，后续将在微信公众号百度智能云技术站首发，敬请期待！