标签：训练

2026-02-02andy阅读(5)评论(0)

异构计算（Heterogeneous Computing）指的是在同一系统中使用不同类型的处理器（如 CPU、GPU、TPU 等）协同工作来完成任务。在深度学习训练中，最常见的异构模式就是让多核 CPU 专注于数据加载、预处理和增强（I/O...

2026-02-02andy阅读(7)评论(0)

在PyTorch分布式数据并行（DDP）训练中，性能瓶颈往往出现在不同进程之间的梯度同步环节。为了高效地聚合梯度，DDP引入了“梯度桶”（Gradient Buckets）机制，这不仅减少了通信延迟，还实现了计算与通信的重叠（Overlap...

2026-02-02andy阅读(8)评论(0)

梯度检查点（Checkpointing Recomputation）：用时间换空间的终极手段 随着深度学习模型规模的爆炸式增长，特别是大型语言模型（LLMs）的出现，训练过程中 GPU 显存不足（OOM, Out Of Memory）成为了...

2026-02-01andy阅读(8)评论(0)

混合精度训练（Mixed Precision Training）是现代深度学习模型训练中常用的优化手段。通过将模型的大部分计算转移到半精度浮点数（FP16）进行，而保持关键部分（如权重更新）使用全精度浮点数（FP32），可以显著提高训练速度...

2026-02-01andy阅读(11)评论(0)

在高性能计算和深度学习领域，分布式训练（如PyTorch DDP）是加速模型收敛的关键手段。然而，分布式环境的复杂性，尤其是涉及多机或多GPU通信时，经常会导致令人头疼的死锁或连接超时问题。这些问题往往源于网络配置错误、防火墙限制或进程间同...

2026-01-31andy阅读(18)评论(0)

在构建大型深度学习模型时，分布式数据并行（DDP）是提高训练速度的关键技术。然而，许多人误以为分布式训练只是简单地将模型复制到多张卡上并行计算。事实并非如此，真正的效率瓶颈在于梯度同步。PyTorch DDP通过其独特的梯度桶（Gradie...

2026-01-30andy阅读(18)评论(0)

在训练深度学习模型，尤其是如Transformer这类拥有数百甚至数千层的超大模型时，GPU显存往往成为瓶颈。标准的反向传播算法需要存储前向传播中每层的所有中间激活值（Activations），以便在计算梯度时使用，这消耗了大量的显存。当模...

2026-01-29andy阅读(26)评论(0)

在现代人工智能，特别是大型语言模型（LLM）的训练中，GPU的核心计算能力（TFLOPS）固然重要，但常常被忽视的瓶颈是数据移动的速度。本文将详细解释GPU中使用的HBM（High Bandwidth Memory，高带宽显存）技术，以及为...

2026-01-29andy阅读(24)评论(0)

自动混合精度（Automatic Mixed Precision, AMP）训练是 PyTorch 1.6+ 版本引入的一项重要功能，它允许模型在训练过程中自动使用 FP16（半精度浮点数）进行计算，同时保留 FP32（单精度浮点数）来处理...

2025-12-12andy阅读(187)评论(0)

对抗训练（Adversarial Training, AT）是提高深度学习模型鲁棒性的黄金标准方法。然而，其代价是巨大的：相比标准训练，对抗训练通常会使计算成本增加10倍甚至更多。这种高成本主要来源于在每个训练步骤中，都需要使用梯度下降方法...