标签：多卡

2026-02-25andy阅读(70)评论(0)

如何通过 MUSA 集群进行大模型分布式训练：详解多卡互联与带宽优化 随着国产算力的崛起，摩尔线程（Moore Threads）的 MUSA 架构已成为大模型训练的重要选择。在多卡集群环境下，如何充分利用 MT-Link 互联技术并优化通信...

2026-02-05andy阅读(91)评论(0)

在进行深度学习模型开发时，特别是在测试分布式训练策略（如 tf.distribute.MirroredStrategy）时，我们往往需要多块 GPU。然而，并非所有开发环境都具备多卡资源。TensorFlow 提供了一种强大的解决方案：虚拟...

2026-01-31andy阅读(112)评论(0)

在构建大型深度学习模型时，分布式数据并行（DDP）是提高训练速度的关键技术。然而，许多人误以为分布式训练只是简单地将模型复制到多张卡上并行计算。事实并非如此，真正的效率瓶颈在于梯度同步。PyTorch DDP通过其独特的梯度桶（Gradie...