打造智算新高地：正阳恒卓助力智算中心建设 1000P AI 算力集群

摘要：在数字化与智能化浪潮的驱动下，AI 正成为推动科研进步与产业升级的核心引擎。无论是气象模拟、海洋研究，还是医药研发、工业设计，算力已逐渐演变为关键资源，而智算中心则成为这一进程的重要承载平台。

在数字化与智能化浪潮的驱动下，AI 正成为推动科研进步与产业升级的核心引擎。无论是气象模拟、海洋研究，还是医药研发、工业设计，算力已逐渐演变为关键资源，而智算中心则成为这一进程的重要承载平台。

在此背景下，北京正阳恒卓科技有限公司（以下简称“正阳恒卓”）依托 NVIDIA 全栈式解决方案，为某超大型智算中心规划并交付了 1000PFlops@FP16 规模的算力集群。项目以 NVIDIA H800 Tensor Core GPU 作为核心算力引擎，结合 NVIDIA Quantum InfiniBand 高速网络与 NVIDIA UFM® 统一架构管理平台，构建起覆盖硬件基础设施、软件系统与运维服务的全生命周期方案。该超大型智算中心实现了计算、存储与网络资源的高效协同，在跨机房部署等复杂场景下依然能够保障系统的稳定性与可扩展性，最终将算力密度提升至行业领先水平。

超大规模智算集群建设挑战

该超大型智算中心项目在规划与实施阶段面临三重核心挑战：

其一，网络架构的极致性能需求。由于该超算中心面向气候模拟、药物研发等需要大规模并行计算与海量数据交互的前沿任务，网络架构必须满足极致的性能需求，计算网络需实现 400Gbps 节点间通信，存储网络需达到 200Gbps 带宽，同时整体延迟需控制在亚微秒级别，这对网络拓扑设计与硬件选型提出严苛要求。

其二，大规模部署的物理限制。与以往同等规模项目通常需要 6-12 个月的建设周期相比，该项目必须在 3 个月内完成跨 A、B 两个机房的硬件集成，其中计算服务器位于 A 机房，存储与安全设备部署于 B 机房，存储网络的跨机房布线需克服 200G AOC 线缆 100 米的传输距离限制。

其三，现场施工的适应性调整，原设计采用上走线方案，但实际机房为下走线布局，导致线槽操作空间狭窄、焊接式设计穿线困难，工人需在无法站立行走的环境中作业，直接影响施工进度与质量。

系统性构建高效可靠的 AI 算力集群

面对上述挑战，正阳恒卓基于其在智算中心建设领域的丰富经验，提出了一系列创新性解决方案。

● 高速互连：借助 NVIDIA InfiniBand 构建高效、低延迟的网络架构

NVIDIA Quantum InfiniBand 是全球唯一完全硬件卸载的网络计算平台，具备卓越的数据吞吐量和端口密度，并支持网络自愈、增强服务质量 (QoS)、拥塞控制和动态路由等特性，使数据中心能够以更低的成本和复杂性实现出色性能和更高的总体应用程序吞吐量。

在网络架构设计上，正阳恒卓采用了 NVIDIA Quantum QM9790 NDR 400G InfiniBand 交换机作为核心交换设备，构建了无阻塞胖树组网架构（包含 8 台 Spine 交换机和 16 台 Leaf 交换机）（见下图）。这种架构保证了任意节点间的数据传输路径始终等价，避免了网络拥塞和带宽瓶颈，从而实现超低延迟和超高吞吐量，支撑现代工作负载在性能加速、可扩展性和功能丰富性方面的需求。

NVIDIA Quantum QM9790 NDR 400G InfiniBand 交换机

同时，部署了 1000 多条 400G MPO 线缆确保高速连接，总长度达 20 公里，通过精细化的机柜空间规划和布线路径设计，实现了高密度互连与稳定的高速传输，有效保障了大规模集群的高效运行。

某大型智算中心网络架构设计

存储网络方面，采用 NVIDIA Quantum QM8790 HDR 200G InfiniBand 交换机作为核心设备，构建了 Spine-Leaf 架构（10 台 Spine 和 11 台 Leaf）（见下图），使用 400 多条 200G AOC 线缆进行连接，这一架构不仅保证了存储节点之间的多路径并行访问能力，显著提升了 I/O 并发处理效率，还能在大规模并发读写时保持稳定的低延迟表现。

NVIDIA Quantum QM8790 HDR 200G InfiniBand 交换机

此外，NVIDIA InfiniBand 的 SHARP™ 技术可卸载聚合通信运算、减少数据传输量并缩短消息传递时间；网络自愈功能能快速应对链路故障，实现远超软件方案的恢复速度；成熟的服务质量机制提供高级拥塞控制和动态路由；并支持多种网络拓扑及优化路由算法，从而进一步提升整体数据中心的吞吐效率和稳定性。

由此，整体系统在实际运行中实现了 1TB/s 级别的数据流动，为大数据分析、AI 训练和科学计算工作负载提供了极高的存储吞吐能力。

某大型智算中心存储网络架构

● 复杂部署环境中的施工优化与调整

为解决跨机房布线难题，正阳恒卓团队需要克服 200G AOC 线缆最长 100 米的物理传输限制，而计算与存储设备分属 A、B 两个机房，距离接近极限。如果交换机位置稍有偏差，就可能导致线缆超长、信号衰减甚至无法部署。针对这一困难，项目团队通过精确测量机房间距与设备位置，反复推演布线方案，最终合理规划交换机安装位置，确保所有跨机房连接线缆连接都严格控制在 100 米限制内。同时，跨机房 AOC 线缆采用了特殊保护套管，防止线缆受损，并在关键路径部署了冗余连接，保证了整体网络的稳定性和安全性。

高压之下，项目团队在仅有不到 1 周时间内完成了走线方案的全面重新设计，制定了精确到机柜和管槽的的下走线规划图，并通过线缆长度自动计算工具快速生成并更新了上千条线缆的采购清单。这一过程不仅需要工程师对现场环境进行反复测量和建模，还要在极短时间内完成从设计到采购的全链条闭环。为保障进度，正阳恒卓同步优化了施工计划与人员安排，将原本顺序式的施工转为多工序并行，增派数十名工程人员分批次开展布线作业，确保在拥挤、工人无法站立的机柜底部空间中依然能够有序推进。对于不合理的焊接式线槽，项目团队还协调相关方拆除并重新设计为卡扣式线槽，大幅提高了穿线效率，最终在紧迫工期内完成了高密度布线任务。

● NVIDIA UFM 平台赋能智算中心的智能化运维

在软件与管理层面，正阳恒卓为该超大型智算中心引入了 NVIDIA UFM 平台，这一平台能够实时监控网络的性能与健康状态，提供自动化故障诊断与报警，以及流量分析与优化建议。NVIDIA UFM 平台将增强的实时网络遥测与 AI 驱动的网络智能和分析相结合，为 InfiniBand 高性能数据中心网络的高效调配、监控、管理和预防性故障排除提供了强大支持。