深度学习

2026-01-29andy阅读(72)评论(0)

在深度学习模型训练和推理过程中，尤其是在使用GPU加速时，张量（Tensor）的内存管理是影响性能的关键因素。PyTorch张量的操作大致分为两类：返回“视图”（View）和返回“副本”（Copy/Clone）。不理解这两者的区别，可能导致...

2026-01-29andy阅读(59)评论(0)

自动混合精度（Automatic Mixed Precision, AMP）训练是 PyTorch 1.6+ 版本引入的一项重要功能，它允许模型在训练过程中自动使用 FP16（半精度浮点数）进行计算，同时保留 FP32（单精度浮点数）来处理...

2026-01-29andy阅读(98)评论(0)

在深度学习模型的训练和推理过程中，尤其是在使用PyTorch时，我们经常会遇到一个棘手的问题：明明通过 nvidia-smi 看到显存（GPU Memory）还有剩余，但在尝试分配新的大张量时却报出了 OOM（Out of Memory）错...

2026-01-29andy阅读(60)评论(0)

许多AI开发者在使用PyTorch进行训练或推理时，经常会遇到一个困惑：当我使用del删除张量后，或者模型明明只占用了几个GB的显存，但通过nvidia-smi查看时，GPU的显存占用率仍然居高不下。本文将深入解析PyTorch的显存分配机...

2026-01-28andy阅读(83)评论(0)

在 PyTorch 中，当内置操作无法满足性能或功能需求时，我们需要自定义高性能的 C++/CUDA 算子。要让 PyTorch 的自动求导机制（Autograd）识别并正确计算这些自定义算子的梯度，我们必须使用 torch.autogra...

2026-01-28andy阅读(79)评论(0)

在 PyTorch 的模型训练和推理过程中，为了节省内存或提高计算效率，我们经常会用到原地操作（Inplace Operations），例如使用 add_()、mul_() 而不是标准的 + 或 *****。然而，在涉及到梯度计算（即 re...

2026-01-28andy阅读(95)评论(0)

在 PyTorch 中，我们通常使用 torch.no_grad() 来关闭梯度追踪，以加速推理过程或节省内存。但如果我们需要在复杂的训练流程中，根据特定的条件（例如，在执行一个嵌入式评估函数时）动态地、有条件地控制梯度，标准的上下文管理器...

2026-01-28andy阅读(87)评论(0)

在 PyTorch 的模型推理阶段，我们通常需要禁用梯度计算，以节省内存和提高运行速度。最常用的方法是使用上下文管理器 torch.no_grad()。然而，PyTorch 1.9 版本引入了一个更强大的替代品：torch.inferenc...

2026-01-27andy阅读(63)评论(0)

导语 在使用 PyTorch 进行深度学习模型开发时，我们经常会遇到一个棘手的 RuntimeError，提示我们不能对一个需要梯度的非叶子张量（non-leaf Tensor）进行原地（in-place）修改。这背后涉及到 PyTorch...

2026-01-27andy阅读(71)评论(0)

在深度学习模型训练过程中，梯度爆炸（Gradient Explosion）是一个常见且致命的问题。它通常表现为损失值突然变为 NaN 或 Inf，导致训练中断或模型权重迅速发散。PyTorch 提供了强大的工具 register_hook，...