ai-infra

2026-02-02andy阅读(348)评论(0)

在PyTorch分布式数据并行（DDP）训练中，性能瓶颈往往出现在不同进程之间的梯度同步环节。为了高效地聚合梯度，DDP引入了“梯度桶”（Gradient Buckets）机制，这不仅减少了通信延迟，还实现了计算与通信的重叠（Overlap...

2026-02-02andy阅读(354)评论(0)

梯度检查点（Checkpointing Recomputation）：用时间换空间的终极手段 随着深度学习模型规模的爆炸式增长，特别是大型语言模型（LLMs）的出现，训练过程中 GPU 显存不足（OOM, Out Of Memory）成为了...

2026-02-01andy阅读(607)评论(0)

混合精度训练（Mixed Precision Training）是现代深度学习模型训练中常用的优化手段。通过将模型的大部分计算转移到半精度浮点数（FP16）进行，而保持关键部分（如权重更新）使用全精度浮点数（FP32），可以显著提高训练速度...

2026-02-01andy阅读(517)评论(0)

张量并行（Tensor Parallelism, TP）是大型语言模型（LLMs）训练和推理中必不可少的优化技术，它通过在不同设备（如GPU）上切分模型的权重张量来扩展计算能力。在Transformer架构中，Attention层和MLP层...

2026-02-01andy阅读(535)评论(0)

导语：为什么流水线并行会产生“气泡”？ 在训练超大规模深度学习模型时（如GPT系列），单个GPU的显存往往无法容纳整个模型。我们不得不采用模型并行策略，其中，流水线并行（Pipeline Parallelism, PP）是一种常用的方法，它...

2026-02-01andy阅读(342)评论(0)

在深度学习的训练过程中，Batch Size（批次大小）是一个至关重要的超参数。通常情况下，更大的 Batch Size 能够提供更准确的梯度估计，有助于模型收敛到更优的解。然而，当模型参数量巨大或输入数据维度极高时，有限的显存（VRAM）...

2026-01-31andy阅读(392)评论(0)

为什么 ZeRO-3 能让单卡跑起“塞不下”的模型？ 随着大语言模型（LLM）的尺寸不断膨胀，GPU的显存往往成为训练过程中的最大瓶颈。一个1750亿参数的模型（如GPT-3），即使使用混合精度（FP16/BF16），仅参数、梯度和优化器状...

2026-01-31andy阅读(397)评论(0)

在训练大规模深度学习模型（特别是LLMs）时，单块GPU的计算能力和内存往往无法满足需求。分布式训练是解决这一问题的核心手段。面试中，区分数据并行（DP）、模型并行（MP/TP）和流水线并行（PP）及其切分依据，是考察候选人分布式系统理解能...

2026-01-31andy阅读(490)评论(0)

计算机体系结构中有一个长期存在的瓶颈，称为“内存墙”（Memory Wall）。它描述了处理器速度增长（基于摩尔定律）远快于内存访问速度和带宽增长的现象。对于传统的CPU计算任务，这早已是性能限制因素；而对于今天的大型语言模型（LLMs），...

2026-01-31andy阅读(461)评论(0)

在构建高性能AI训练服务器，尤其是涉及大型语言模型（LLM）或多模态模型的训练时，GPU之间的通信带宽往往成为整体性能的瓶颈。忽视互联技术（Interconnect）的选择，是许多开发者在组装硬件时常犯的“大坑”。本文将深入比较NVLink...