汤不热吧引言：为什么大模型训练需要 FP8？
随着大语言模型的参数量从数十亿迈向数千亿，训练过程中的显存消耗和计算吞吐成为核心瓶颈。以 Llama 3 405B 为例，使用 BF16 精度训练仅模型参数就需要约 810GB 显存，加上梯度、优化器状态和激活值，单机八卡 H100 依然捉襟见肘。而在计算侧，现代 GPU 的 FP8 算力通常是 BF16 的两倍——H100 的 FP8 Tensor Core 峰值达到 1979 TFLOPS，而 BF16 仅为 989 TFLOPS。
FP8（8-bit Floating Point）正是为解决这一矛盾而生。它不是简单地将数值「截断」到更低位宽，而是一套包含新数据格式、缩放策略、硬件支持的完整训练体系。2024 年以来，NVIDIA H100/H200、AMD MI300X 等新一代 GPU 均原生支持 FP8 计算，Meta、Microsoft、Google 纷纷在各自的训练框架中落地 FP8，使其从论文走向了生产环境。
本文将从 FP8 的数据格式定义出发，深入解析缩放策略的设计哲学，剖析前向与反向传播中 FP8 的差异化应用，最后给出基于 Transformer Engine 的工程实践指南。
FP8 数据格式：E4M3 与 E5M2 的双格式设计
与 INT8 的整型表示不同，FP8 保留了浮点数的指数-尾数结构，只是将位宽从 16-bit 压缩到 8-bit。IEEE 754 标准化过程中，产业界最终确定了两种 FP8 格式：
| 格式 | 符号位 | 指数位 | 尾数位 | 指数偏移 | 动态范围 | 精度 | 典型用途 |
|---|---|---|---|---|---|---|---|
| E4M3 | 1 | 4 | 3 | 7 | ±448 | 较高 | 前向传播（权重/激活） |
| E5M2 | 1 | 5 | 2 | 15 | ±57344 | 较低 | 反向传播（梯度） |
为什么需要两种格式而不是一种？这源于前向和反向传播对数值特性的不同需求：
- 前向传播中的权重和激活值分布相对集中，极端离群值较少，因此用 E4M3 的 3-bit 尾数保证精度更重要，4-bit 指数提供的 ±448 动态范围已经足够覆盖绝大多数情况。
- 反向传播中的梯度分布则完全不同——梯度往往呈现长尾分布，存在大量接近零的小梯度和少量极大的梯度，需要更宽的动态范围来避免下溢。E5M2 用 5-bit 指数换取了 ±57344 的动态范围，牺牲的 1-bit 尾数精度对梯度来说影响较小。
数值精度对比：从 BF16 到 FP8 的量化误差
以一个具体的数值为例，BF16 可以精确表示 1.234375（尾数 7-bit），而 E4M3 只能表示到 1.25（尾数 3-bit），E5M2 只能表示到 1.25（尾数 2-bit）。精度损失直观可见，但这并不意味着训练质量会显著下降——关键在于缩放策略的配合。
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import numpy as np
# 模拟 FP8 E4M3 的表示范围
def simulate_e4m3_range():
# E4M3: 1 sign + 4 exp + 3 mantissa
# 最大正规数: 2^(15-7) * (1 + 7/8) = 448
max_val = 448.0
# 最小正规数: 2^(1-7) = 0.015625
min_val = 2 ** (1 - 7)
print(f"E4M3 range: [{min_val}, {max_val}]")
# E5M2: 1 sign + 5 exp + 2 mantissa
# 最大正规数: 2^(30-15) * (1 + 3/4) = 57344
max_val_e5 = 57344.0
min_val_e5 = 2 ** (1 - 15)
print(f"E5M2 range: [{min_val_e5}, {max_val_e5}]")
simulate_e4m3_range()
# 输出:
# E4M3 range: [0.015625, 448.0]
# E5M2 range: [3.0517578125e-05, 57344.0]
缩放策略：FP8 训练的核心艺术
单纯将 BF16 数值截断到 FP8 必然导致严重的精度损失。FP8 训练的关键在于「缩放」（Scaling）——将原始数值乘以一个缩放因子，使其尽量填满 FP8 的有效表示范围，计算完成后再除以缩放因子还原。这一过程可以表示为：
2
3
4
5
scaled_input = input * scale_factor # 放大到 FP8 有效范围
fp8_input = cast_to_fp8(scaled_input) # 转换为 FP8
fp8_output = fp8_matmul(fp8_input, fp8_weight) # FP8 计算
output = cast_from_fp8(fp8_output) / scale_factor # 还原
缩放因子的选择直接决定了 FP8 训练的数值稳定性。目前主流的缩放策略分为两类：
1. Delayed Scaling（延迟缩放）
这是 NVIDIA Transformer Engine 默认采用的策略。核心思路是：用上一轮迭代的统计信息来为当前迭代计算缩放因子。具体流程：
- 在 iteration T-1 中，记录每个张量的绝对值最大值（amax）
- 在 iteration T 中，根据 T-1 的 amax 计算缩放因子：
1scale = FP8_MAX / amax
- 用该缩放因子对 iteration T 的输入进行缩放和 FP8 计算
Delayed Scaling 的优势在于零额外计算开销——统计 amax 的操作可以与正常计算重叠进行。但它假设相邻迭代的张量分布是平稳的，当分布剧烈变化时（如训练初期的 loss spike），可能导致缩放因子不准确，引发数值溢出或精度损失。
2. Online Scaling（在线缩放）
Online Scaling 在当前迭代内实时计算缩放因子，不依赖历史信息。它需要额外的预处理步骤来扫描张量的数值范围，因此会引入一定开销，但数值稳定性更好。这种方法在 Microsoft 的 FP8 训练实践中被广泛采用。
2
3
4
5
6
7
8
9
10
11
12
13
14
import torch.nn as nn
class FP8Linear(te.Linear):
"""使用 Transformer Engine 的 FP8 线性层
默认采用 Delayed Scaling 策略"""
def __init__(self, in_features, out_features, bias=False):
super().__init__(
in_features,
out_features,
bias=bias,
# FP8 格式选择：前向用 E4M3，反向用 E5M2
fp8_format="hybrid", # E4M3 for fwd, E5M2 for bwd
)
前向与反向传播的差异化 FP8 策略
FP8 训练不是简单地将所有计算一刀切换到 8-bit。一个精妙的设计是：前向和反向传播使用不同的精度策略，以在性能和训练质量之间取得最优平衡。
前向传播：选择性 FP8
在 Transformer 的前向传播中，主要的计算密集型操作是矩阵乘法（GEMM），包括：
- QKV 投影：X × W_qkv
- 注意力输出投影：Attn_out × W_o
- MLP 的 up/gate/down 投影
这些 GEMM 操作的输入（激活值和权重）被缩放后转换为 E4M3 格式进行计算，计算结果再转回高精度。而以下操作保持高精度：
- LayerNorm / RMSNorm：涉及均值和方差计算，对精度敏感
- Softmax：指数运算对数值范围极敏感
- 残差连接的加法操作
- 位置编码
这种「计算用 FP8，累加和归约用高精度」的混合策略，是 FP8 训练能够在保持模型质量的前提下获得性能提升的关键。
反向传播：梯度使用 E5M2
反向传播中，输入梯度和权重梯度使用 E5M2 格式。这一选择基于以下考量：
- 梯度分布具有长尾特性，E5M2 更宽的动态范围能有效减少下溢
- 即使少量梯度出现精度损失，随机梯度下降本身的噪声可以「吸收」这些误差
- 反向传播的矩阵乘法占训练总计算量的主要部分，FP8 加速效果最为显著
2
3
4
5
6
7
8
9
10
11
12
13
# 前向: BF16 输入 → Scale → E4M3 GEMM → De-scale → BF16 输出
# 反向: BF16 梯度 → Scale → E5M2 GEMM → De-scale → BF16 梯度
with te.fp8_autocast(enabled=True, fp8_recipe=te.DelayedScaling()):
# 前向传播中，GEMM 自动使用 FP8
output = model(input_ids)
loss = criterion(output, labels)
# 反向传播中，梯度 GEMM 也自动使用 FP8
loss.backward()
optimizer.step()
optimizer.zero_grad()
Transformer Engine 实战：在 Megatron-LM 中启用 FP8
NVIDIA 的 Transformer Engine（TE）是目前最成熟的 FP8 训练框架。它通过替换 PyTorch 的原生算子来实现 FP8 计算，对上层代码侵入性极小。以下展示如何在 Megatron-LM 中集成 FP8 训练：
安装与配置
2
3
4
5
6
7
8
9
pip install git+https://github.com/NVIDIA/TransformerEngine.git@stable
# 验证 GPU 支持 FP8
python -c "
import transformer_engine as te
print(f'TE version: {te.__version__}')
print(f'FP8 supported: {te.fp8.is_fp8_available()}')
"
模型代码改造
核心改造是将标准的
1 | nn.Linear |
替换为 TE 的
1 | te.Linear |
，并将模型包裹在
1 | fp8_autocast |
上下文中：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
from transformer_engine.common import recipe
# 定义 FP8 缩放策略
fp8_recipe = recipe.DelayedScaling(
margin=0, # amax 缩放余量
interval=1, # 每隔多少步更新缩放因子
fp8_format=recipe.Format.HYBRID, # 前向 E4M3 + 反向 E5M2
)
class FP8TransformerLayer(nn.Module):
def __init__(self, hidden_size, num_heads, ffn_dim):
super().__init__()
# 用 TE 的 Linear 替换 nn.Linear
self.qkv_proj = te.Linear(hidden_size, 3 * hidden_size, bias=False)
self.out_proj = te.Linear(hidden_size, hidden_size, bias=False)
self.gate_proj = te.Linear(hidden_size, ffn_dim, bias=False)
self.up_proj = te.Linear(hidden_size, ffn_dim, bias=False)
self.down_proj = te.Linear(ffn_dim, hidden_size, bias=False)
self.norm1 = nn.LayerNorm(hidden_size)
self.norm2 = nn.LayerNorm(hidden_size)
def forward(self, x):
# Norm 和 Attention 内部的 Score/Softmax 保持 BF16
residual = x
x = self.norm1(x)
# QKV 投影使用 FP8 GEMM
qkv = self.qkv_proj(x)
q, k, v = qkv.chunk(3, dim=-1)
# Attention 计算保持高精度
attn_out = scaled_dot_product_attention(q, k, v)
# 输出投影使用 FP8 GEMM
x = self.out_proj(attn_out)
x = residual + x
# MLP 部分
residual = x
x = self.norm2(x)
gate = torch.nn.functional.silu(self.gate_proj(x))
up = self.up_proj(x)
x = self.down_proj(gate * up)
x = residual + x
return x
# 训练循环
model = FP8TransformerLayer(...).cuda()
optimizer = torch.optim.AdamW(model.parameters())
for batch in dataloader:
optimizer.zero_grad()
# 启用 FP8 自动转换
with te.fp8_autocast(enabled=True, fp8_recipe=fp8_recipe):
output = model(batch)
loss = criterion(output, labels)
loss.backward()
optimizer.step()
FP8 训练的常见陷阱与调优经验
在将 FP8 训练落地到生产环境的过程中，我们总结出以下常见陷阱和调优策略：
陷阱一：缩放因子爆炸
Delayed Scaling 依赖历史 amax 估算缩放因子。如果某一轮迭代中出现极端离群值，会导致后续迭代的缩放因子过大，使得大部分数值集中在 FP8 表示范围的低端，有效精度大幅下降。
解决方案：设置 amax 的历史窗口，取窗口内的最大值而非最近一步的值。Transformer Engine 的
1 | margin |
参数就是为此设计：
2
3
4
5
6
7
# margin=1: 使用最近两步的最大 amax
fp8_recipe = recipe.DelayedScaling(
margin=1,
interval=1,
fp8_format=recipe.Format.HYBRIDE,
)
陷阱二：激活值离群值导致量化误差
Transformer 中某些 channel 的激活值可能远大于其他 channel，导致 FP8 量化时大部分 channel 的有效位宽极低。这种现象在 LLM 中尤为突出，尤其是 Attention 输出中的少量「尖刺」channel。
解决方案：采用 Per-channel Scaling 或 Per-tile Scaling，对每个 channel 或 tile 独立计算缩放因子，而非整个张量共享一个缩放因子：
2
3
4
5
6
7
8
9
10
11
12
13
14
# scale = FP8_MAX / max(|tensor|)
# Per-channel scaling（推荐用于激活值）
# scale[i] = FP8_MAX / max(|tensor[i, :]|)
# 每个 channel 独立缩放，避免离值 channel 压缩其他 channel 的精度
fp8_recipe = recipe.DelayedScaling(
margin=0,
interval=1,
fp8_format=recipe.Format.HYBRID,
# TE v1.5+ 支持细粒度缩放
fp8_dpa=False, # 禁用 FP8 attention
)
陷阱三：Attention 不适合 FP8
虽然理论上 Attention 的 QK^T 矩阵乘法可以用 FP8 加速，但 Softmax 前的 scale 操作和 Softmax 本身对数值精度极度敏感。FP8 的有限精度会导致 Softmax 输出严重失真，进而影响 Attention 质量。
解决方案：当前实践中推荐仅对线性投影层使用 FP8，Attention Score 计算和 Softmax 保持 BF16。Transformer Engine 的
1 | fp8_dpa=False |
选项就是为此设计。
陷阱四：小模型收益有限
FP8 的性能收益与 GEMM 的规模强相关。对于参数量较小的模型（< 7B），矩阵乘法的 M 维度（batch × seq_len）往往不够大，FP8 Kernel 无法充分利用 Tensor Core，加速比可能仅有 1.1x-1.2x，甚至因缩放开销而出现性能回退。
解决方案：对于小模型，优先考虑 BF16 混合精度训练；FP8 训练的甜区在 70B 参数以上的模型，GEMM 维度足够大时加速比可达 1.4x-1.6x。
FP8 训练的精度验证与评估指标
切换到 FP8 训练后，必须系统性地验证模型精度是否可接受。以下是关键评估维度：
训练 Loss 曲线对比
FP8 训练的 loss 曲线应与 BF16 基线高度重合。可接受的偏差范围：
- 训练初期（前 100 步）：loss 偏差 < 1%
- 训练中期：loss 偏差 < 0.5%
- 训练末期：loss 偏差 < 0.3%
如果 loss 出现持续偏移或震荡，首先检查缩放因子的设置和 amax 历史。
下游任务评测
loss 曲线正常不代表最终模型质量一定没问题。必须在关键下游任务上进行评测：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
eval_tasks = [
"MMLU", # 通用知识
"HumanEval", # 代码生成
"GSM8K", # 数学推理
"HellaSwag", # 常识推理
"ARC-Challenge", # 科学推理
]
# 可接受的精度退化阈值
MAX_DEGRADATION = 0.5 # 百分比
# 对比 BF16 基线和 FP8 训练模型的评测结果
for task in eval_tasks:
bf16_score = evaluate(model_bf16, task)
fp8_score = evaluate(model_fp8, task)
degradation = (bf16_score - fp8_score) / bf16_score * 100
status = "PASS" if degradation < MAX_DEGRADATION else "FAIL"
print(f"{task}: BF16={bf16_score:.2f}, FP8={fp8_score:.2f}, "
f"degradation={degradation:.2f}% [{status}]")
缩放因子健康度监控
缩放因子的异常变化是 FP8 训练问题的早期信号。建议在训练过程中记录以下指标：
- 各层缩放因子的最大值/最小值/均值
- 缩放因子变化率（相邻 step 的比值）
- FP8 计算中的溢出计数
2
3
4
5
6
7
8
9
10
def monitor_fp8_scales(model, step):
"""定期打印各层 FP8 缩放因子统计信息"""
for name, module in model.named_modules():
if hasattr(module, 'fp8_meta'):
scale_inv = module.fp8_meta['scaling_fwd']['scale_inv']
print(f"Step {step}, Layer {name}: "
f"scale min={scale_inv.min():.4f}, "
f"max={scale_inv.max():.4f}, "
f"mean={scale_inv.mean():.4f}")
FP8 vs 其他低精度训练方案对比
FP8 并非唯一的低精度训练方案。下表对比了当前主流的几种方案：
| 方案 | 精度位宽 | 前向计算 | 反向计算 | 显存节省 | 计算加速 | 实现复杂度 |
|---|---|---|---|---|---|---|
| BF16 混合精度 | 16-bit | BF16 | BF16 | 基线 | 基线 | 低 |
| FP8 (Hybrid) | 8-bit | E4M3 | E5M2 | ~30-40% | 1.3-1.6x | 中 |
| INT8 训练 | 8-bit | INT8 | FP16/BF16 | ~20-30% | 1.2-1.4x | 高 |
| FP4 (实验性) | 4-bit | FP4 | FP8 | ~50-60% | 2-3x (理论) | 极高 |
FP8 的独特优势在于它是当前唯一在硬件、框架、算法三个层面都达到生产就绪状态的低精度训练方案。INT8 训练虽然概念上类似，但缺乏浮点数的动态范围，需要更复杂的量化策略（如对称/非对称量化、逐通道缩放），且反向传播通常仍需高精度。FP4 目前仍处于研究阶段，硬件支持和数值稳定性都尚未成熟。
前沿进展：FP8 训练的未来方向
FP8 微调与推理一体化
FP8 训练的另一个重要应用场景是全参微调（Full Fine-tuning）。与从零训练相比，微调的数值分布更稳定，FP8 的缩放因子更容易准确估计，因此精度风险更低。同时，FP8 训练产出的权重天然就是 FP8 格式，可以直接用于 FP8 推理，省去了额外的量化步骤，实现「训练即量化」的端到端流程。
细粒度缩放策略
当前的 FP8 实现主要使用 Per-tensor 缩放，但研究和工程实践表明，Per-channel 甚至 Per-tile 缩放能显著提升数值精度。NVIDIA 在 Blackwell 架构（B100/B200）中引入了硬件级的 Per-block 缩放支持，有望将 FP8 训练的精度进一步提升，缩小与 BF16 的差距。
FP8 与 MOE 的结合
MOE（Mixture of Experts）模型在 FP8 训练中面临独特挑战：路由（Router）的输出对精度极度敏感，而专家的稀疏激活模式使得 GEMM 的 batch 维度较小，FP8 的加速效果受限。当前的研究方向包括：Router 保持高精度 + Expert 用 FP8、动态缩放因子适配稀疏激活、以及针对 MOE 的专用 FP8 Kernel 优化。
总结
FP8 训练是大模型基础设施演进的重要里程碑。它的核心价值不在于「8-bit 比 16-bit 省一半」这样简单的算术，而在于通过精心设计的数据格式（E4M3/E5M2 双格式）、缩放策略（Delayed Scaling / Online Scaling）和混合精度方案（前向 FP8 + 归约高精度），在几乎不损失训练质量的前提下，将 GPU 的计算潜力发挥到极致。
对于 AI Infra 工程师而言，落地 FP8 训练需要关注的不仅是 API 调用，更要理解缩放因子的物理含义、不同操作的精度敏感度差异、以及训练过程中的健康度监控。只有掌握了这些底层知识，才能在遇到问题时快速定位根因，而非盲目调参。
随着 Blackwell 架构的普及和 FP4 的探索，低精度训练的边界还在不断推进。但无论格式如何演进，核心的设计哲学不变：用最少的 bit 表达最多的信息，让每一比特都为模型质量服务。