如何通过 empty_cache() 缓解显存碎片化:深度解析 CachingAllocator 机制
在深度学习模型的训练和推理过程中,尤其是在使用PyTorch时,我们经常会遇到一个棘手的问题:明明通过 nvidia-smi 看到显存(GPU Memory)还有剩余,但在尝试分配新的大张量时却报出了 OOM(Out of Memory)错...
在深度学习模型的训练和推理过程中,尤其是在使用PyTorch时,我们经常会遇到一个棘手的问题:明明通过 nvidia-smi 看到显存(GPU Memory)还有剩余,但在尝试分配新的大张量时却报出了 OOM(Out of Memory)错...