摘要：如今，大模型的算力饥渴与“内存墙”困境日益尖锐。模型参数规模指数级增长从千亿到了万亿，大模型的“膨胀速度”堪称“失控”：从BERT的3.4亿参数到GPT-3的1750亿，再到如今超万亿参数的模型，每两年参数规模增长约240倍。但GPU显存的增长却像“蜗牛爬”—

当前AI大模型（LLM）训练与推理对算力的巨大需求，以及传统计算精度（如FP16/BF16）面临的功耗、内存带宽和计算效率瓶颈。

FP8（8位浮点数）作为一种新兴的、得到行业巨头（NVIDIA、AMD、Intel）支持的低精度格式，正在成为下一代AI芯片的标配。

FP8对于国产AI芯片有着怎样的战略意义？这可能不仅是技术追赶，更是参与制定未来AI计算标准、构建自主生态的关键机遇。

AI计算进入“8位时代”的必然性

如今，大模型的算力饥渴与“内存墙”困境日益尖锐。模型参数规模指数级增长从千亿到了万亿，大模型的“膨胀速度”堪称“失控”：从BERT的3.4亿参数到GPT-3的1750亿，再到如今超万亿参数的模型，每两年参数规模增长约240倍。但GPU显存的增长却像“蜗牛爬”——2016年P100仅12GB，2023年H200也才141GB，7年只翻了10倍。

这种“参数疯涨、显存龟速”的反差，让训练大模型成了“内存噩梦”。比如训练GPT-3，仅模型参数就需要650GB显存，加上训练时的梯度、动量等状态（约1950GB），再算上中间计算的激活值（366GB），总需求超2900GB。而单张A100 GPU只有80GB显存，必须靠多卡并行，但卡越多，卡间通信又成了新瓶颈。

“存”“算”性能失配，内存墙导致访存时延高，效率低。内存墙，指内存的容量或传输带宽有限而严重限制 CPU 性能发挥的现象。内存的性能指标主要有“带宽”(Bandwidth)和“等待时间”(Latency)。近 20 年间，运算设备的算力提高了 90000 倍，提升非常快。虽然存储器从 DDR 发展到 GDDR6x，能够用于显卡、游戏终端和高性能运算，接口标准也从 PCIe1.0a 升级到 NVLink3.0，但是通讯带宽的增长只有 30 倍，和算力相比提高幅度非常缓慢。

冯诺依曼架构下，数据传输导致严重的功耗损失。冯·诺依曼架构要求数据在存储器单元和处理单元之间不断地“读写”，这样数据在两者之间来回传输就会消耗很多的传输功耗。根据英特尔的研究表明，当半导体工艺达到 7nm 时，数据搬运功耗高达 35pJ/bit，占总功耗的63.7%。数据传输造成的功耗损失越来越严重，限制了芯片发展的速度和效率，形成了“功耗墙”问题。

而FP8的优势就是——效率与精度的完美平衡。

FP8并非简单的“砍位数”——技术内涵与设计挑战

FP8（8位浮点数）格式正以其独特的综合优势，成为推动AI计算迈向下一阶段的关键技术。其核心价值可总结为：在效率与精度之间实现了前所未有的平衡。

首先，FP8带来了极致的计算与存储效率提升。与目前广泛使用的FP16相比，FP8将内存占用直接减少50%，显著降低了内存带宽压力，使得在相同硬件条件下能够处理更大规模的模型或更高批次的数据。这一改进不仅直接提升了推理和训练速度，还大幅降低了系统功耗，对部署在边缘设备或大规模数据中心中的AI应用都具有重要意义。特别是在内存带宽经常成为瓶颈的AI加速器中，FP8的有效应用能够释放更大的算力潜力。

其次，FP8在压缩数据的同时维持了可接受的数值精度。与纯整数格式（如INT8）相比，FP8保留了浮点数的表示特点，具备更大的动态范围和更灵活的精度分配，能够更好地适应训练过程中梯度计算、激活函数输出等对数值范围敏感的操作。这意味着尽管比特数较低，FP8仍能较好地维持模型训练的稳定性和最终精度，减少因量化造成的性能损失，从而在提升效率的同时避免模型质量的显著下降。

此外，FP8正在快速获得全行业生态的支持。从 NVIDIA Hopper 架构和 H100 GPU 开始，多家芯片厂商已在其最新硬件中提供对FP8的原生支持。软件和框架层面，主流深度学习框架（如TensorFlow和PyTorch）以及推理引擎正在积极集成FP8算子库和优化工具链。这种从硬件到软件、从训练到推理的全面标准化，为开发者提供了统一的高效编程环境，进一步推动了FP8在各类模型中的普及。

FP8并非只是在现有格式基础上简单“减少比特”，而是面向AI计算真实需求的一次系统级优化。它既解决了高性能计算对资源高效利用的迫切需求，又兼顾了模型精度保持的挑战，正迅速成为AI训练与推理领域的新标准。

FP8的两种主流格式：

当全球科技圈还在讨论GPT-5的突破时，中国AI企业DeepSeek在官宣V3.1模型的留言区埋下了一颗重磅炸弹——"UE8M0FP8是针对即将发布的下一代国产芯片设计"。

那国产芯片实现FP8的核心挑战有哪些呢？首先是如何在ALU、Tensor Core等计算单元中高效支持两种格式的混合运算。其次是编译器、算子库、驱动等如何无缝地将AI框架的指令映射到FP8硬件上；设计先进的量化工具链，确保模型从高精度到FP8转换时的精度损失最小。最后是与现有生态的兼容：支持FP16/BF16等格式的平滑迁移和混合精度计算。

国产AI芯片的FP8机遇：突围与超越

FP8是相对较新的标准，国内外差距小于在CUDA生态上的差距，是难得的机遇窗口。

若以NVIDIA B100的FP8算力（14 petaFLOPS）为基准，在同等制程条件下，DeepSeark架构凭借算法与硬件的协同优化，预计可实现20%–30%的有效算力提升。需要说明的是，该推测目前仍基于已公开技术文档，实际性能需以流片测试为准。

在生态建设方面，华为昇腾910B目前主要支持FP16和BF16格式，在FP8支持方面尚落后至少一代。DeepSeek所采用的“模型即芯片”策略，本质上借鉴了谷歌TPU的成功经验，但仍需应对诸如PyTorch量化工具链适配等实际工程挑战。

从供应链安全角度考虑，FP8格式对计算精度要求相对较低，一定程度上降低了对晶体管密度的依赖，这一特点反而成为在国产制程条件下的一项差异化优势。

以华为昇腾系列NPU为例，针对FP8设计的专用指令集使其在典型ResNet模型上的吞吐量提升40%，同时单位算力的能耗降低至原来的1/3。这种突破性进展源于两大创新：一是硬件层面的亚稳态电路设计优化，解决了低比特下梯度消失的问题；二是软件框架对混合精度训练的支持，允许不同网络层灵活切换FP8与其他格式。值得关注的是，寒武纪思元590等国产芯片已率先集成FP8加速模块，标志着自主架构开始引领精度革新潮流。

DeepSeek的战略布局揭示了一个关键逻辑：当英伟达A100/H100因出口管制而缺货时，国产芯片厂商与下游用户的深度绑定正在形成独特竞争优势。壁仞科技BR104、沐曦MXC500等新品均将FP8作为核心卖点，配合自研的编译器工具链，可实现从模型转换到部署落地的全流程无缝衔接。

当前，尽管IEEE P754等国际标准组织仍在积极推进FP8的规范化进程，但产业应用已明显走在了标准制定的前面。以百度飞桨、智谱AI为代表的AI平台已率先实现对FP8格式的默认支持，而在PyTorch等开源生态中，类似AutoFP8的自动化混合精度库也在不断涌现。这种以实际应用驱动、自下而上的技术扩散，为中国企业在AI基础软硬件领域争取全球话语权打开了关键窗口期。如果能在未来一年半内实现三大关键突破——包括主流框架深度集成FP8、高质量开源模型示范验证，以及国产硬件适配率突破50%——中国完全有能力主导一场以FP8为共识的生态变革。

然而，FP8的全面推广仍面临诸多现实阻力。部分业界观点对其在复杂数据分布下的稳定性存疑，不同平台间算子兼容性问题也尚未彻底解决。面对这些挑战，一些企业如摩尔线程提出了“渐进式升级”的思路，通过容器化技术保障原有模型的兼容性，并引入动态剖分机制实现推理过程中不同精度策略的智能选择。这类渐进式路径不仅缓解了迁移成本高、风险大的核心痛点，也为FP8从试验阶段走向规模化落地赢得了更广泛的支持与时间窗口。

DeepSeek此次技术路线的价值，在于证明了算法-硬件协同创新可能比单纯追逐制程进步更具可行性，这或许只是中国AI算力自主化的第一步。

想要获取半导体产业的前沿洞见、技术速递、趋势解析，关注我们！

来源：半导体产业纵横一点号