Checkpoint 重计算技术:用时间换空间,解决大模型训练 OOM 的最后一根稻草
梯度检查点(Checkpointing Recomputation):用时间换空间的终极手段 随着深度学习模型规模的爆炸式增长,特别是大型语言模型(LLMs)的出现,训练过程中 GPU 显存不足(OOM, Out Of Memory)成为了...
梯度检查点(Checkpointing Recomputation):用时间换空间的终极手段 随着深度学习模型规模的爆炸式增长,特别是大型语言模型(LLMs)的出现,训练过程中 GPU 显存不足(OOM, Out Of Memory)成为了...
混合精度训练(Mixed Precision Training)是现代深度学习模型训练中常用的优化手段。通过将模型的大部分计算转移到半精度浮点数(FP16)进行,而保持关键部分(如权重更新)使用全精度浮点数(FP32),可以显著提高训练速度...
张量并行(Tensor Parallelism, TP)是大型语言模型(LLMs)训练和推理中必不可少的优化技术,它通过在不同设备(如GPU)上切分模型的权重张量来扩展计算能力。在Transformer架构中,Attention层和MLP层...
导语:为什么流水线并行会产生“气泡”? 在训练超大规模深度学习模型时(如GPT系列),单个GPU的显存往往无法容纳整个模型。我们不得不采用模型并行策略,其中,流水线并行(Pipeline Parallelism, PP)是一种常用的方法,它...
在深度学习的训练过程中,Batch Size(批次大小)是一个至关重要的超参数。通常情况下,更大的 Batch Size 能够提供更准确的梯度估计,有助于模型收敛到更优的解。然而,当模型参数量巨大或输入数据维度极高时,有限的显存(VRAM)...
为什么 ZeRO-3 能让单卡跑起“塞不下”的模型? 随着大语言模型(LLM)的尺寸不断膨胀,GPU的显存往往成为训练过程中的最大瓶颈。一个1750亿参数的模型(如GPT-3),即使使用混合精度(FP16/BF16),仅参数、梯度和优化器状...
在训练大规模深度学习模型(特别是LLMs)时,单块GPU的计算能力和内存往往无法满足需求。分布式训练是解决这一问题的核心手段。面试中,区分数据并行(DP)、模型并行(MP/TP)和流水线并行(PP)及其切分依据,是考察候选人分布式系统理解能...
计算机体系结构中有一个长期存在的瓶颈,称为“内存墙”(Memory Wall)。它描述了处理器速度增长(基于摩尔定律)远快于内存访问速度和带宽增长的现象。对于传统的CPU计算任务,这早已是性能限制因素;而对于今天的大型语言模型(LLMs),...
在构建高性能AI训练服务器,尤其是涉及大型语言模型(LLM)或多模态模型的训练时,GPU之间的通信带宽往往成为整体性能的瓶颈。忽视互联技术(Interconnect)的选择,是许多开发者在组装硬件时常犯的“大坑”。本文将深入比较NVLink...
NVIDIA Nsight Systems (NSS) 是一个强大的系统级性能分析工具,它能够帮助开发者深入了解 GPU 和 CPU 之间的交互,以及 CUDA 算子(Kernel)的执行效率。对于深度学习应用而言,理解哪个算子耗时最长是性...