标签：checkpoint

2026-02-02andy阅读(5)评论(0)

梯度检查点（Checkpointing Recomputation）：用时间换空间的终极手段 随着深度学习模型规模的爆炸式增长，特别是大型语言模型（LLMs）的出现，训练过程中 GPU 显存不足（OOM, Out Of Memory）成为了...

2026-01-30andy阅读(15)评论(0)

在训练深度学习模型，尤其是如Transformer这类拥有数百甚至数千层的超大模型时，GPU显存往往成为瓶颈。标准的反向传播算法需要存储前向传播中每层的所有中间激活值（Activations），以便在计算梯度时使用，这消耗了大量的显存。当模...