摘要:在AI时代,数据就是“金山银山”。正如NVIDIA创始人兼CEO黄仁勋所言,“数据是AI时代各行各业发展的原材料”。当下,由于AI模型参数增长至万亿级、训练集群拓展到百万图形处理器(GPU,Graphics Processing Unit)规模,数据与算力之间
在AI时代,数据就是“金山银山”。正如NVIDIA创始人兼CEO黄仁勋所言,“数据是AI时代各行各业发展的原材料”。当下,由于AI模型参数增长至万亿级、训练集群拓展到百万图形处理器(GPU,Graphics Processing Unit)规模,数据与算力之间也存在相应的技术瓶颈。换言之,如果存储系统无法高效供给数据,网络不能支撑算力系统,就会导致算力资源得不到充分利用,进而影响AI模型的训练和推理效率。
为攻克上述障碍,当地时间2025年3月18日,在NVIDIA举办的年度GTC大会上,NVIDIA发布了两项重要产品:NVIDIA AI数据平台,以及NVIDIA Spectrum-X™和NVIDIA Quantum-X硅光网络交换机。前者能够帮助NVIDIA认证的存储提供商构建AI基础设施,以加速AI推理工作负载;后者可以令AI工厂在有效降低能耗和运营成本的前提下,实现跨区域连接数百万GPU。
NVIDIA AI数据平台:加速AI推理工作负载,助力构建新型企业基础设施
NVIDIA AI数据平台,是一项可自定义的参考设计,搭载由NVIDIA加速计算、网络和软件驱动的AI查询智能体,能为企业提供加速计算和AI能力,让其通过使用NVIDIA AI Enterprise软件平台(包括全新NVIDIA Llama Nemotron推理模型的NVIDIA NIM™微服务)以及全新的NVIDIA AI-Q Blueprint,能够有效地处理公司数据。
(来源:资料图)
其中,NVIDIA AI数据平台借助NVIDIA AI-Q Blueprint开发,能推理并连接企业数据的代理式系统,AI-Q利用NVIDIA NeMo™ Retriever微服务,可以将NVIDIA GPU上的数据提取和检索速度提高15倍。
搭载AI-Q Blueprint的AI查询智能体,能在推理过程中快速访问和处理海量数据,并提供有效响应。目前,这些数据包括文本、图像和视频等模态,分为结构化、半结构化和非结构化等类型。
通过组合NVIDIA Blackwell GPU、BlueField DPU和Spectrum-X网络,NVIDIA还打造了一款加速引擎,以加快AI查询智能体访问存储在企业系统中的数据。其中,与基于中央处理器(CPU,Central Processing Unit)的存储性能相比,BlueField DPU能在功耗降低50%的同时,将性能提升至前者的1.6倍;而Spectrum-X最高可以把AI存储流量提速到48%。
在主题演讲中黄仁勋表示:“我们正在与全球领先的存储企业合作,打造在混合数据中心部署和扩展代理式AI(Agentic AI)所需的新型企业基础设施。”
据了解,这些存储企业包括DDN、Dell Technologies、Hewlett Packard Enterprise、Hitachi Vantara、IBM、NetApp、Nutanix、Pure Storage、VAST Data和WEKA 等。另据悉,经NVIDIA认证的存储提供商,计划从本月开始推出基于NVIDIA AI数据平台打造的解决方案。
NVIDIA硅光网络交换机:将硅光集成至交换机,为GPU AI工厂打开新大门
作为一种超大规模的新型数据中心,AI工厂的发展,必须基于全新的网络基础设施。这便是NVIDIA硅光网络交换机推出的原因,它实现光器件的创新性集成,减少了4倍的激光器数量。并且,比传统方法的能源效率、信号完整性、大规模组网可靠性和部署速度,分别提高到3.5倍、63倍、10倍和1.3倍。
据介绍,它被用于NVIDIA Spectrum-X Photonics以太网平台和NVIDIA Quantum-X Photonics InfiniBand平台。
(来源:资料图)
具体来说:
NVIDIA Spectrum-X™ Photonics交换机能提供128个800 Gb/s端口或512个 200 Gb/s端口,总带宽能达到100 Tb/s;亦能提供512个800 Gb/s或2048 个200 Gb/s端口,总吞吐量可达400 Tb/s。
NVIDIA Quantum-X Photonics交换机能够提供144个基于200Gb/s SerDes800Gb/s InfiniBand端口,速度和扩展性分别是上一代产品的2倍和5倍。
黄仁勋在主题演讲中指出:“NVIDIA将硅光直接集成到交换机中,打破了超大规模和企业网络的旧有限制,为百万GPU AI工厂打开大门。”
据悉,预计NVIDIA Quantum-X Photonics InfiniBand交换机在2025年上市,由领先基础设施和系统供应商推出的NVIDIA Spectrum-X Photonics以太网交换机将于2026年推出。
需要说明的是,NVIDIA的硅光生态系统伙伴包括了TSMC、Browave、Coherent、Corning Incorporated、Fabrinet、Foxconn、Lumentum、SENKO、SPIL、Sumitomo Electric Industries和TFC Communication。
其中,TSMC董事长兼CEO魏哲家表示:“新一代AI工厂需要高效率和低维护成本,才能达到新一代工作负载所需的规模。TSMC的硅光解决方案结合了我们先进的芯片工艺和TSMC-SoIC 3D芯片封装的优势,帮助NVIDIA充分发挥AI工厂的能力,助力AI工厂扩展到100万GPU甚至更多,突破AI的边界。”
可以看出,在AI从实验室走向千行百业的过程中,对基础设施进行全方位建设至关重要。毕竟,任何一个环节出现短板,都会影响整体效能最大化。而此次NVIDIA发布的两款产品,从存储和网络两个层面破解了这一瓶颈,良好地促进了AI的规模化发展。
来源:DeepTech深科技