标签：训练

2026-02-02andy阅读(363)评论(0)

梯度检查点（Checkpointing Recomputation）：用时间换空间的终极手段 随着深度学习模型规模的爆炸式增长，特别是大型语言模型（LLMs）的出现，训练过程中 GPU 显存不足（OOM, Out Of Memory）成为了...

2026-02-01andy阅读(619)评论(0)

混合精度训练（Mixed Precision Training）是现代深度学习模型训练中常用的优化手段。通过将模型的大部分计算转移到半精度浮点数（FP16）进行，而保持关键部分（如权重更新）使用全精度浮点数（FP32），可以显著提高训练速度...

2026-02-01andy阅读(410)评论(0)

在高性能计算和深度学习领域，分布式训练（如PyTorch DDP）是加速模型收敛的关键手段。然而，分布式环境的复杂性，尤其是涉及多机或多GPU通信时，经常会导致令人头疼的死锁或连接超时问题。这些问题往往源于网络配置错误、防火墙限制或进程间同...

2026-01-31andy阅读(453)评论(0)

在构建大型深度学习模型时，分布式数据并行（DDP）是提高训练速度的关键技术。然而，许多人误以为分布式训练只是简单地将模型复制到多张卡上并行计算。事实并非如此，真正的效率瓶颈在于梯度同步。PyTorch DDP通过其独特的梯度桶（Gradie...

2026-01-30andy阅读(410)评论(0)

在训练深度学习模型，尤其是如Transformer这类拥有数百甚至数千层的超大模型时，GPU显存往往成为瓶颈。标准的反向传播算法需要存储前向传播中每层的所有中间激活值（Activations），以便在计算梯度时使用，这消耗了大量的显存。当模...

2026-01-29andy阅读(591)评论(0)

在现代人工智能，特别是大型语言模型（LLM）的训练中，GPU的核心计算能力（TFLOPS）固然重要，但常常被忽视的瓶颈是数据移动的速度。本文将详细解释GPU中使用的HBM（High Bandwidth Memory，高带宽显存）技术，以及为...

2026-01-29andy阅读(312)评论(0)

自动混合精度（Automatic Mixed Precision, AMP）训练是 PyTorch 1.6+ 版本引入的一项重要功能，它允许模型在训练过程中自动使用 FP16（半精度浮点数）进行计算，同时保留 FP32（单精度浮点数）来处理...

2025-12-12andy阅读(465)评论(0)

对抗训练（Adversarial Training, AT）是提高深度学习模型鲁棒性的黄金标准方法。然而，其代价是巨大的：相比标准训练，对抗训练通常会使计算成本增加10倍甚至更多。这种高成本主要来源于在每个训练步骤中，都需要使用梯度下降方法...

2025-12-02andy阅读(437)评论(0)

引言：AIGC训练中的“内存墙”挑战 Stable Diffusion（SD）这类大型生成模型，尤其是在高分辨率图像（例如512×512或更高）上进行微调或预训练时，对GPU显存（VRAM）的需求极其苛刻。对于拥有80GB显存的N...

2025-11-19andy阅读(409)评论(0)

在万卡（10000+ GPU）规模的AI集群中进行大模型训练时，CheckPoint（检查点）的可靠性和速度是决定训练效率的关键。一个TB级甚至PB级的检查点，如果采用传统同步方式存储，可能导致训练停顿数小时，极大增加了恢复时间目标（RTO...