NVMe-oF大幅降低数据访问延迟

B站影视 2025-02-05 20:42 2

摘要:随着许多IT团队将其公有云工作负载回迁到本地,对数据中心进行现代化改造以适应云原生工作负载,或构建他们自己的专用公有云服务,对超大规模云架构的建模在企业数据中心中正获得显著发展势头。他们希望将公有云的最佳能力和效率方面与本地控制相结合。公有云的几个关键优势正在

随着企业继续在其数据中心构建类似超大规模的云架构,NVMe-oF 的采用率势必加快。

译自 NVMe-oF Substantially Reduces Data Access Latency,作者 Carol Platz。

随着许多IT团队将其公有云工作负载回迁到本地,对数据中心进行现代化改造以适应云原生工作负载,或构建他们自己的专用公有云服务,对超大规模云架构的建模在企业数据中心中正获得显著发展势头。他们希望将公有云的最佳能力和效率方面与本地控制相结合。公有云的几个关键优势正在推动数据中心的需求,其中包括效率、可扩展性、灵活性和自动化。

技术创新已成为实现公有云承诺的优势的最佳云架构的关键推动因素,这些优势包括软件定义存储、开源编排器,如Kubernetes和NVMe-oF(基于网络的非易失性内存高速接口)。所有这些都作为现代云架构的基础组件越来越受欢迎。

NVMe-oF v1.0规范于2016年6月发布。NVMe-oF是一种网络协议,它通过网络存储扩展了非易失性内存高速接口(NVMe)协议的并行访问和低延迟特性。NVMe最初设计用于本地存储,在直连存储(DAS)架构中很常见,通过直接与固态硬盘交互来提供高速数据访问和低延迟。NVMe-oF允许在分布式和集群环境中实现相同的优势,使外部存储能够像本地存储一样运行。

NVMe-oF支持各种传输协议,包括光纤通道、InfiniBand、远程直接内存访问(RDMA)、带有RoCE v2的以太网、iWARP和传输控制协议(TCP)。通过使用这些协议,NVMe-oF使您可以扩展存储而不会影响性能,使其成为现代数据密集型工作负载的理想选择。它解决了高性能至关重要的用例。

虽然其市场渗透率仍然相对较低(根据Gartner 2024年存储技术炒作周期,为5-20%),但鉴于其提供的所有技术和业务优势,我认为它将作为主要的Tier-1云存储连接获得发展势头。NVMe-oF的早期采用者已经将其优势转化为竞争优势。

NVMe-oF大幅降低了数据访问延迟,同时确保了存储和服务器之间更高效的连接。存储目标可以在工作负载之间动态共享,从而提供可组合的存储资源,这些资源提供灵活性和敏捷性,并提高资源效率。

在高性能、效率和低延迟规模至关重要的行业中,NVMe-oF的采用非常明显。值得关注的市场领域包括:金融服务、电子商务、人工智能和机器学习以及专业云服务提供商(CSP)。

遗留VM迁移、实时分析、高频交易、联机事务处理(OLTP)以及大规模云原生高性能工作负载的快速发展,这些用例促使组织使用NVMe-oF解决方案对其数据平台进行现代化改造。它能够高效地处理海量数据流并具有高性能,使其成为I/O密集型工作负载不可或缺的一部分。

基于TCP的NVMe(NVMe/TCP)的惊人速度和效率使其成为当今大规模性能敏感型工作负载的有前景的云存储协议。它提供类似云的简单性,利用标准以太网,并具有用于分布式存储网络的隐形结构,同时保持高可靠性和持久性,以及高性能和低延迟要求。

像NVMe/TCP这样的技术进步可以引发数据中心架构的范式转变。NVMe/TCP作为NVMe-oF的一个子集,结合了NVMe的高性能以及使用TCP作为传输层的标准以太网网络的普遍性和成本效益。

与光纤通道 (FC) 或基于 RDMA 的协议等替代方案不同,NVMe/TCP 通过普遍且经济高效的以太网基础设施运行。这种架构模型确保了超低延迟和高吞吐量,无需定制硬件或专有驱动程序。

NVMe/TCP 非常适合取代 iSCSI(Internet 小型计算机系统接口)和 FC,成为数据中心现代化和支持渴望更高性能的云原生应用程序的基础存储访问协议的实际标准。

像 NVMe/TCP 这样的技术创新通过降低部署 NVMe-oF 的成本和复杂性来加速 NVMe 的采用。它由捐赠给 Linux 社区的项目 ,是通过 TCP Fabric 使用技术 的下一个发展阶段。

现成的软件定义存储版本易于管理,延迟低至 170 微秒,同时仅用两个节点即可支持高达 600 万 IOPS。能够在您选择的硬件上部署存储软件并使用您现有的以太网基础设施,使其易于访问且经济高效,适合希望对其数据中心系统进行现代化改造或替换其传统 FC 基础设施的组织。

NVMe-oF 可以改变现代存储系统的架构和使用方式。

以下是三个业务优势:

1. 存储资源整合,提高效率

使用 NVMe-oF,您可以将高速存储整合并共享到多个服务器,减少存储孤岛并最大限度地提高资源利用率。这样做可以通过消除过度配置存储和基础设施管理资源的需求来降低资本支出和运营支出。

通过使用普遍存在的以太网,NVMe/TCP 提供了所有网络协议选项中最好的成本效益。对于可以将节省的成本转嫁给客户的云服务提供商来说,这是一个特别理想的方案。

以具有竞争力的价格提供更快的存储服务可能是一个优势。对于希望替换虚拟存储区域网络 (vSAN) 的公司来说,这也是一个理想的方案。通过消除过度配置的存储,您可以将存储空间减少多达 25%,降低能源成本并在数据中心释放机架空间。

2. 低延迟和高吞吐量,加速性能

NVMe-oF 的超低延迟和高吞吐量优势无与伦比。快速访问大数据可以加快应用程序性能、上市时间和获得答案的时间,这对于实时分析、AI/机器学习工作负载和高频交易至关重要。

因此,NVMe-oF 的早期采用者来自金融服务和电子商务领域。由于高延迟,实时欺诈检测和在线零售平台在使用传统的直接连接存储 (DAS) 和存储区域网络 (SAN) 存储时可能会遇到严重的应用程序性能下降或超时。

通过部署 NVMe-oF,您可以将延迟从毫秒减少到微秒,从而实现每秒数百万次交易和数万个并发用户请求,而不会出现瓶颈或应用程序超时。这样一个高性能的数据平台可以提高客户满意度、信任度和信心,同时提高收入和运营效率。

3. 可扩展性和灵活性,助力数据中心现代化计划

NVMe-oF 通过允许动态添加或重新分配存储而不会中断操作来支持无缝扩展。NVMe/TCP 存储使组织能够动态扩展或重新分配应用程序之间的存储资源,并有助于确保正常运行时间和优化存储成本,同时支持新项目而不会中断操作。

这在 AI/ML 中尤其普遍。可以通过推理和训练模型运行的数据越多,AI 和 ML 的结果就越好。工作负载本质上是数据密集型的,需要能够处理海量数据集且具有高性能和效率的存储解决方案。

NVMe/TCP 的高吞吐量允许 AI/ML 训练和推理过程高效地访问大量数据,从而加快模型训练。随着这些工作负载规模的增加,扩展存储和计算资源的灵活性确保基础设施保持敏捷且经济高效。

随着企业继续在其数据中心构建类似超大规模的云架构,NVMe-oF 的采用率势必会加快。推动其采用的关键趋势包括增强的协议标准化和广泛的厂商支持,进一步简化了部署和互操作性。业界普遍认为,NVMe-oF 模型将取代 DAS,成为云模型基础设施中分解存储的默认协议。

更具成本效益、高容量的 NVMe 驱动器的开发将补充 NVMe-oF 的可扩展性,使其更容易为更多组织所采用。而且,它能够降低功耗并优化资源利用率,这与组织的可持续发展倡议相符。

像微软这样的行业技术领导者,通过其在 2023 年 MSFT Ignite 大会上宣布支持内置 NVMe/TCP,使其现在可在所有数据中心操作系统上使用,从而实现了 NVMe 协议的普及化,认可了云原生计算和现代数据中心融合的趋势。

最终,NVMe-oF 作为现代数据中心基础技术的定位,确保了其在未来的相关性。它已经出现在新的用例中,例如边缘计算,其中高速存储对于更接近数据源处理数据至关重要。其功能将继续使企业能够以灵活、高效和高性能的方式应对云时代的挑战。

如果您想了解更多关于 NVMe/TCP 及其对数据中心现代化变革性益处的信息,请下载我们与 IDC 合作撰写的白皮书:NVMe Over TCP Enables the Democratization of Disaggregated, NVMe Storage。

来源:小安科技论

相关推荐