深度学习

2026-01-31andy阅读(13)评论(0)

在深度学习训练和推理过程中，我们经常会发现 GPU 使用率不高，或者训练速度远低于预期。这往往不是 GPU 计算慢，而是因为数据加载和预处理（Data I/O）成为了瓶颈，导致 GPU 必须等待 CPU 准备好下一批数据。这种等待被称为“数...

2026-01-30andy阅读(9)评论(0)

在处理 TB 级别或者需要实时生成的流式数据集时，传统的 PyTorch Dataset（Map-style Dataset，通过 __getitem__ 随机访问）机制会遇到致命的内存瓶颈。因为这类数据集要求在初始化时或者通过索引访问时将...

2026-01-30andy阅读(14)评论(0)

在PyTorch深度学习训练中，数据加载的速度（即I/O吞吐量）往往是整个训练流程的瓶颈。当尝试使用多进程（num_workers > 0）来加速数据读取时，用户可能会遇到程序锁死、内存暴涨或性能不升反降的问题。本文将深入解析如何通过合理配...

2026-01-30andy阅读(18)评论(0)

PyTorch 默认使用 NCHW (Batch, Channels, Height, Width) 内存布局，这是一种从科学计算历史遗留下来的传统格式。然而，对于现代视觉模型，尤其是在利用 NVIDIA Tensor Core 或其他高度...

2026-01-30andy阅读(16)评论(0)

在训练深度学习模型，尤其是如Transformer这类拥有数百甚至数千层的超大模型时，GPU显存往往成为瓶颈。标准的反向传播算法需要存储前向传播中每层的所有中间激活值（Activations），以便在计算梯度时使用，这消耗了大量的显存。当模...

2026-01-29andy阅读(23)评论(0)

在深度学习模型训练和推理过程中，尤其是在使用GPU加速时，张量（Tensor）的内存管理是影响性能的关键因素。PyTorch张量的操作大致分为两类：返回“视图”（View）和返回“副本”（Copy/Clone）。不理解这两者的区别，可能导致...

2026-01-29andy阅读(19)评论(0)

自动混合精度（Automatic Mixed Precision, AMP）训练是 PyTorch 1.6+ 版本引入的一项重要功能，它允许模型在训练过程中自动使用 FP16（半精度浮点数）进行计算，同时保留 FP32（单精度浮点数）来处理...

2026-01-29andy阅读(26)评论(0)

在深度学习模型的训练和推理过程中，尤其是在使用PyTorch时，我们经常会遇到一个棘手的问题：明明通过 nvidia-smi 看到显存（GPU Memory）还有剩余，但在尝试分配新的大张量时却报出了 OOM（Out of Memory）错...

2026-01-29andy阅读(20)评论(0)

许多AI开发者在使用PyTorch进行训练或推理时，经常会遇到一个困惑：当我使用del删除张量后，或者模型明明只占用了几个GB的显存，但通过nvidia-smi查看时，GPU的显存占用率仍然居高不下。本文将深入解析PyTorch的显存分配机...

2026-01-28andy阅读(34)评论(0)

在 PyTorch 中，当内置操作无法满足性能或功能需求时，我们需要自定义高性能的 C++/CUDA 算子。要让 PyTorch 的自动求导机制（Autograd）识别并正确计算这些自定义算子的梯度，我们必须使用 torch.autogra...