异构训练初探:让 CPU 与 GPU 协同工作的计算模式真的靠谱吗?
异构计算(Heterogeneous Computing)指的是在同一系统中使用不同类型的处理器(如 CPU、GPU、TPU 等)协同工作来完成任务。在深度学习训练中,最常见的异构模式就是让多核 CPU 专注于数据加载、预处理和增强(I/O...
异构计算(Heterogeneous Computing)指的是在同一系统中使用不同类型的处理器(如 CPU、GPU、TPU 等)协同工作来完成任务。在深度学习训练中,最常见的异构模式就是让多核 CPU 专注于数据加载、预处理和增强(I/O...
导言:XAI与低延迟的冲突 随着AI模型在关键业务中的广泛应用,模型的可解释性(eXplainable AI, XAI)已成为部署的必备条件。然而,传统的后验解释性方法,如LIME(Local Interpretable Model-agn...
在将 PyTorch 模型部署到资源受限的移动设备(如 Android/iOS)或嵌入式系统时,性能优化是至关重要的环节。PyTorch 提供了 TorchScript 机制,允许将模型序列化并在非 Python 环境中运行。而 torch...
在训练深度学习模型,尤其是如Transformer这类拥有数百甚至数千层的超大模型时,GPU显存往往成为瓶颈。标准的反向传播算法需要存储前向传播中每层的所有中间激活值(Activations),以便在计算梯度时使用,这消耗了大量的显存。当模...