从GPU到存储:为什么SSD对AI训练如此重要

B站影视 港台电影 2025-09-25 23:00 1

摘要:训练大语言模型需处理数百TB至PB级别的数据集。数据加载速度直接决定了GPU计算资源的利用率。若存储系统无法提供足够的带宽与低延迟,GPU将频繁等待数据,导致其高计算能力闲置,从而显著延长训练周期。

在大语言模型(LLM)训练的过程中,存储系统的重要性常常被低估。尽管 GPU 的计算能力至关重要,但如果没有高性能的存储系统,训练过程将受到限制。

训练大语言模型需处理数百TB至PB级别的数据集。数据加载速度直接决定了GPU计算资源的利用率。若存储系统无法提供足够的带宽与低延迟,GPU将频繁等待数据,导致其高计算能力闲置,从而显著延长训练周期。

此外,LLM训练过程通常涉及高并发、随机的数据访问模式,这对存储系统的随机读写性能提出了极高要求。传统的存储方案难以满足这种需求,容易在训练过程中形成性能瓶颈。

因此,具备高带宽和低延迟特性的企业级SSD,尤其是基于PCIe 5.0与NVMe 2.0接口的产品,成为支撑AI训练工作负载的必要条件。它们能够确保数据持续、高速地供给计算单元,是构建高效训练平台的关键组成部分。

以铠侠的企业级SSD为例,其产品针对上述需求提供了相应的解决方案:

铠侠LC9系列 提供高达245.76TB的容量,采用32层堆叠的2Tb QLC闪存与CBA封装技术,实现了高存储密度与性能的平衡。其顺序读取速度达12 GB/s,随机读取性能为130万 IOPS,适用于大规模数据集的快速加载场景。

铠侠CD9P系列 则侧重于更高吞吐量与更低延迟,其顺序读取速度达14.8 GB/s,随机读取性能达260万 IOPS,能够有效支持LLM训练中对数据实时性要求更高的访问需求。

铠侠将持续推进存储技术创新,不断提升性能、容量与可靠性,为企业客户和开发者提供高效、可靠的存储解决方案。同时,铠侠致力于满足AI领域日益增长的存储需求,助力企业在激烈的市场竞争中保持领先,并通过与产业伙伴的紧密合作,共同推动AI技术的发展与应用。

注:

截至2025年7月22日,基于铠侠调查。

容量的定义:容量的定义:铠侠定义1千字节(KB)为1,000 字节,1兆字节(MB)为1,000,000字节,1千兆字节(GB)为1,000,000,000字节,1兆兆字节(TB)为 1,000,000,000,000 字节,1 KiBibyte(KiB)为1,024字节。但是计算机操作系统记录存储容量时使用2的幂数进行表示,即定义1GB = 2^30 = 1,073,741,824字节,1TB = 2^40 = 1,099,511,627,776字节,因此会出现存储容量变小的情况。可用存储容量(包括各种媒体文件的示例)将根据文件大小、格式、设置、软件和操作系统和/或预安装的软件应用程序或媒体内容而异。实际格式化的容量可能有所不同。可用存储容量(包括各种媒体文件的示例)将根据文件大小、格式、设置、软件和操作系统和/或预安装的软件应用程序、或媒体内容而异。实际格式化的容量可能有所不同。

闪存容量的计算方式为:1Tb = 1,099,511,627,776 (2^40) 比特,1TB = 1,099,511,627,776 (2^40) 字节。

对于RocksDB应用,铠侠确认,当启用FDP功能并配合插件(一款由铠侠在其官方GitHub账户上发布的功能扩展程序,地址:https://github.com/kioxia-jp/ufrop)使用时,写入放大因子(WAF)约为1.1。

KIOXIA LC9系列固态硬盘支持Leighton-Micali签名(LMS)算法,该算法被CNSA 2.0(商用国家安全算法套件 2.0)认可为数字签名算法,可防止固件被篡改,以抵御量子计算机对传统加密算法构成的威胁。密钥长度为256位的高级加密标准(AES-256)是KIOXIA LC9系列固态硬盘中使用的数据加密算法,也得到了CNSA 2.0的认可。

“2.5英寸”表示固态硬盘的外形尺寸规格,而非物理尺寸。

读取和写入速度可能因主机设备、软件(驱动器、操作系统等)和读取/写入条件等各种因素而异。

此为初步性能,如有变更,恕不另行通知。

提供支持安全即时擦除(SIE)、自加密硬盘(SED)以及符合FIPS(联邦信息处理标准)的SED等可选型号。

受出口和当地管制,安全选项可能在部分国家/地区不可用。

NVMe和NVMe-MI是NVM Express, Inc.在美国和其他国家的注册或未注册商标。

PCIe是PCI-SIG的注册商标。

来源:科技局中局

相关推荐