韦乐平:国内智算中心遍地开花,但GPU平均利用率不到30%

B站影视 日本电影 2025-06-05 21:23 2

摘要:近日,中国光网络研讨会大会主席,原中国电信科技委主任韦乐平先生表示,大模型时代将开启新一波的“光进铜退”;此外,国内的智算中心遍地开花,但GPU利用率很不均衡。

近日,中国光网络研讨会大会主席,原中国电信科技委主任韦乐平先生表示,大模型时代将开启新一波的“光进铜退”;此外,国内的智算中心遍地开花,但GPU利用率很不均衡。

大模型训练导致高速率、高密度、高成本必然遇到一系列困境。因为随着基础传输速率攀升至每通道100Gbit/s/200Gbit/s以上,由于趋肤效应、PCB材料高频损耗、串音干扰等导致PCB板铜箔的损耗和功耗快速上升,减小影响的唯一举措就是减小器件间传输距离,直至完全消除铜连线。随着传输速率持续提升,光模块的成本也在持续上升。在400GGbit/s速率,交换机光器件成本的占比已超过50%。在更高速率下,其占比将更高。

韦乐平指出,为了应对大模型带来的暴力计算所导致的巨大能耗和成本,“光进铜退”必将从接入网延伸至驻地网和数据中心乃至服务器及芯片光互连直至基本消除电连接。当然,这一进程不会一蹴而就,随着电光两者各自的技术进展,博弈将波折前行,但全光化将是大势所趋。

除此之外,行业目前最热的是智算中心网。按照韦乐平的理解,智算网是适应大模型需要的,以GPU为主体的网络,由智算中心及其互联组成(对应DCN和DCI),但是关于它的定义和边界目前没有共识。“智算网有的人给它夸大到几十、几百公里,甚至几千公里,我不太相信,但不管怎么说稍微虚点,比较实在的还是智算中心网——AIDC。”韦乐平直言,AIDC与传统的DCN范围相当,包括芯片间、服务器间、单体乃至园区。但他也提到,当前,国内的智算中心遍地开花,总数超280个,但GPU利用率很不均衡,“个别饱的撑死,多数饿的饿死”,平均利用率不到30%。此外,机内总线带宽与机间网络带宽不匹配,机间网络带宽太窄,算效不高。机内总线架构开放性、兼容性、扩展性不理想。当前,行业盈利情况却不容乐观,呈现出极为不均衡的态势。在众多参与企业中,仅有从事硬件制造的英伟达实现盈利,成为行业内的“一枝独秀”。与之形成鲜明对比的是,其他企业均深陷亏损泥潭,即便是行业内顶尖的AIDC,亏损额也高达50亿元,并且亏损趋势还在不断扩大,预计今年的亏损规模将超过去年。韦乐平直言,找到可盈利的商业模式迫在眉睫。

关于智算中心网络的流量特征,首先是丢包,零丢包已经成为刚性需求,0.1%丢包率将导致网络吞吐损失50%,1%丢包率将导致有效计算时间减小到5%,完全不能用。其次,对时延和抖动高度敏感,网络的长尾时延决定了大模型训练完成时间的长短和性能,要严格控制,包括同一训推任务内的不同流量要尽量保持同步。最后,链路间流量不均衡。大模型的参数规模和GPU超高并发处理能力使得流量主要集中在少数GPU之间,因而不同交换链路间的流量难以均衡化,必须采取措施,否则网络浪费太多。

目前,光学技术已占据GPU的IB和以太网高速连接中的75%,未来随着GPU连接逐渐向更高速率和更短互联领域拓展,“光进铜退”趋势将持续推进直至电连接的极限距离。基本光化,但是未必能够全光。

韦乐平称,按照Gartner发布的2024年智算中心连接的技术趋势,2026年CPO可能出现了,但不成规模,是重要的光化;2029年小芯片与硅光集成将成为很重要的趋势;2030年Optics实现纯光化。

韦乐平详细介绍了小芯片技术的发展机遇,随着速率不断攀升,连接交换机ASIC芯片和光模块的铜连线也成为功耗大幅攀升的主要因素,缩短铜连线距离成为主要选择。产业界可利用该技术,将硅光和逻辑芯片电路集成在同一个衬底上,这样可以有效缩短ASIC电芯片与硅光模块间距离,达到降低功耗、减小时延的目的。产业联盟发布的通用芯片互联快线标准规范了小芯片互联的接口、可管理系统架构、支持3D封装、材料兼容性等,韦乐平相信这个标准的出现必将加速集成硅光技术的小芯片应用。

“小芯片与硅光集成才会有前途。”韦乐平说道。Gartner预测,到2029年,超50%的先进芯片将会利用小芯片技术集成硅光技术,为硅光技术提供新发展机遇。

END

美对华EDA禁令落地,华为、华大九天等我国企业如何破局?

广西广电“切掉”广电业务,官宣转战智慧交通?

2025智慧海洋深度行(江苏站)圆满落幕:集智创新赋能海洋经济新未来

作者:甄清岚

责编/版式:王禹蓉

审校:王 涛 梅雅鑫

监制:刘启诚

【通信世界新媒体矩阵】

央视频 | 微软MSN | 视频号 | 微博 | | 百家号 | 网易号 | 搜狐 | 腾讯新闻

新浪看点 | 雪球号 | 抖音 | 快手 | 爱奇艺 | 知乎 | 哔哩哔哩 | 咪咕视频 | CSDN | 36氪

【新媒体团队】

监制|刘启诚

审校|王涛 梅雅鑫

编辑|王禹蓉

视频制作|盖贝贝 黄杨洋 卢瑞旭 蒋雅丽

运营|林嵩

来源:通信世界

相关推荐