摘要:中国经济正在向“新”而行。从中央到地方,一系列支持新质生产力发展的举措相继推出。新质生产力的发展呼唤更加高质量、高效率、高智能、高安全的基础网络来承载。业界将这一新型的网络技术体系称为“新质互联网(Net5.5G)”。“新质互联网”不仅仅连接传统的网络用户、系
中国经济正在向“新”而行。从中央到地方,一系列支持新质生产力发展的举措相继推出。新质生产力的发展呼唤更加高质量、高效率、高智能、高安全的基础网络来承载。业界将这一新型的网络技术体系称为“新质互联网(Net5.5G)”。“新质互联网”不仅仅连接传统的网络用户、系统、应用,而且要进一步连接算力、数据,并不断扩展其物理空间范畴;其业务模型不仅仅是信息的访问,而更多表现为信息的产生、爆发、重组、流动,从而极大地改变网络的整体结构和技术需求。目前看来,“新质互联网”主要面向联算、联智、联数、联空四大场景。
算力是数字经济时代的核心基础设施,对促进经济增长、推动科技进步以及满足日益增长的数据处理需求具有至关重要的作用。随着ChatGPT引爆大模型热潮,让人类看到了通用人工智能“生成创造世界”的曙光,也促使人们对人工智能加快社会各领域数字化转型及智能化发展、促进全社会生产效率提升抱有极高的期望。算力既是智能时代的“引擎”,也是智算时代最宝贵的资源。智算广域网在算力供给者和用算企业与用户之间架起连接的桥梁,同时也是连接不同数据中心之间算力、算卡的网络,从算力使用场景上需要关注入算、算间、算内三张网络。
入算网络需具备差异化调度和调优能力
2023年10月,工业和信息化部等六部门印发了《算力基础设施高质量发展行动计划》,文中首次提出了入算网络概念,并明确弹性大带宽接入、确定性承载、高安全可靠是算力网络的基本特征。
入算网络作为算力管道,连接大量企业、科研机构与算力中心,需要具备差异化调度和调优能力,满足海量数据高效入算的需求。AI大模型训练催生大数据入算需求,模型数据集通常需要数十GB到数百TB的数据。如某车企每天上传一次100T~160T数据,年数据量约38PB;某基因公司每天上传一次15T数据,年数据量约4.5PB。大数据量入算对网络的挑战主要在三方面:一是接入带宽挑战,大数据量上传百兆专线耗时太长,万兆专线成本太高;二是网络利用率挑战,大数据量入算产生大量大象流,现有网络负载均衡策略中无法区分出智算业务流,将由于流量不均衡而造成网络利用率的大幅下降;三是数据安全挑战,部分企业敏感数据需要入算训练,但又不希望异地存储造成可能的泄露。这些挑战导致目前90%以上的企业还都选择寄硬盘方式传递数据。因此,新质互联网给需要的企业构建一张更具备性价比和传输安全性的入算网络,提供任务式服务的高弹性,提升整网带宽利用率,并实现数据的高安全传输和数据主权保护。
因此,“入算”需要具备超宽、弹性、大运力、无损、安全的新质联接力,为千行百业提供高效智能算力,这也是“新质互联网”的核心竞争力所在。
算间网络需实现多智算中心间的高速互联
大模型算力需求快速增长,由于电力资源等限制,单数据中心算力规模受限,业界大模型厂商采用多数据中心资源联合训练大模型。另外,当前国内普遍是千卡集群,单体无法满足万卡训练诉求。通过构建多数据中心协同训练能力,城市内多智算中心、区域内(区域省份间)、区域间(国家算力枢纽间)算力可实现高效协同,实现碎片化算力整合利用,提升算卡利用率,支撑更大模型的训练和缩短模型训练时间。多DC互联网络需要具备长距无损、高吞吐的能力,以支持算间协同,突破地域限制,整合全国算力资源。由于跨DC联算的计算效率对于数据丢失十分敏感,0.1%的丢包会造成50%的算力损失,跨上千公里的算力无损传输对于网络可靠性提出了新的考验。需要引入更智能的流调度算法来充分释放AI算力,还要有基于租户级的流控技术防止拥塞在大网上扩散。
算内网络需超大规模组网和无损高吞吐
算内网络要实现数据中心内算卡的互联,需满足单数据中心算卡从百卡到万卡、十万卡的超大规模集群连接需求,需要具备超大规模组网、无损高吞吐以及智能容错能力。业界推测GPT-4参数量约1.8万亿,训练中使用了大约2.15e25Flops算力,训练集群使用约25000个A100GPU。随着模型参数量从千亿到万亿、十万亿的增长,模型训练使用的算力卡也从万到十万发展,对数据中心的网络提出了超大规模组网调度、超高吞吐、无损传输、快速故障闭环的要求,以实现算力效率的100%释放。
不难看出,“新质互联网”需要构建入算、算间、算内三张网络,构建多级推理中心和高质量的边端网络,构建高速连接的数据网络,构建空天地一体的全域覆盖网络。
中国电信上海公司联合华为打造了业界首张端到端400GE的IP智算广域试验网络,采用RDMA(Remote Direct Memory Access)广域无损传输、新型智算业务流级调度算法、网络数字地图等技术,为千行百业提供高弹性、高吞吐、高可靠的一跳入多算网络新服务……
“新质互联网”是国内产业界在总结新产业需求、新应用领域、新技术方向的基础上提出的数据通信网络技术体系,是适应新质生产力发展的网络新底座,是智能化时代网络技术升级的演进新方向,服务于全社会的数字化转型和高质量发展。智算广域网融合了算力时代的最新关键技术和能力,将为“新质互联网”打好根基,为新质生产力的发展保驾护航。 (余从)
来源:环球网海外看中国