马斯克的AI巨兽上线!20万块H100正疯狂训练中,目标百万GPU!
xAI 的超级计算中心——Colossus,最近刚接入孟菲斯市的主电网,终于摆脱烧天然气发电尴尬期,正式进入 “百万GPU养成计划”第一阶段。
xAI 的超级计算中心——Colossus,最近刚接入孟菲斯市的主电网,终于摆脱烧天然气发电尴尬期,正式进入 “百万GPU养成计划”第一阶段。
这一方法的核心创新在于:研究团队首先将隐藏空间中的 tokens 重塑为“视频”的结构,即按照时间、高度、宽度 [t, h, w] 的格式进行 reshape。随后对 reshaped 的 query 和 key 进行下采样,采用平均池化操作构建一个低分辨率的
在核心算力指标上,昇腾 910C 的 FP16 浮点运算性能达到 640 TFLOPS,虽略低于英伟达 H100 的 800 TFLOPS,但在 AI 推理场景中表现亮眼,实测性能达到 H100 的 60%。得益于华为自研的达芬奇 3.0 架构及动态算力调度技