fp8

FP8 在大模型训练中的应用、挑战及实践

越来越多的技术团队开始使用 FP8 进行大模型训练,这主要因为 FP8 有很多技术优势。比如在新一代的 GPU 上,FP8 相对于 BF16 对矩阵乘算子这样的计算密集型算子,NVIDIATensorCores能够提供两倍的峰值性能,相对于 TF32 能够提供

训练 模型 fp8 2025-01-22 16:21  6

如何使用 FP8 加速大模型训练

新一代 GPU 如NVIDIA Ada Lovelace、Hopper架构配备了最新一代的 Tensor Core,可以支持 FP8 数据精度的矩阵运算加速。相比之前的 FP16 或 BF16 的数据类型,FP8 的 Tensor Core 可提供两倍的 TF

训练 模型 fp8 2024-12-06 16:45  12