关于华为CloudMatrix384昇腾AI云服务,看这一篇就够了!
CloudMatrix384是一个超节点(Super Node),相当于一台超级“服务器”。它搭载了384颗华为昇腾NPU和192颗鲲鹏CPU,单卡推理吞吐量可以达到2300 Tokens/s。同时,推理的时延也得到了极大降低,原来100ms的增量Token输
云服务 cloudmatrix384 华为cloudmatr 2025-06-20 17:29 2
CloudMatrix384是一个超节点(Super Node),相当于一台超级“服务器”。它搭载了384颗华为昇腾NPU和192颗鲲鹏CPU,单卡推理吞吐量可以达到2300 Tokens/s。同时,推理的时延也得到了极大降低,原来100ms的增量Token输
云服务 cloudmatrix384 华为cloudmatr 2025-06-20 17:29 2