标签：通信

2026-02-17andy阅读(57)评论(0)

当我们在大规模 GPU 集群上进行分布式训练时，NCCL (NVIDIA Collective Communications Library) 扮演着核心的通信角色。如果训练过程频繁出现 NCCL Time Out 错误，这通常意味着节点间...

2026-02-14andy阅读(41)评论(0)

在同步分布式训练（如 PyTorch DDP）中，最主要的性能瓶颈之一是梯度同步操作 All-Reduce 导致的等待时间。当一台 GPU 完成反向传播并计算出所有梯度后，它必须等待所有其他 GPU 完成相同的操作，然后才能进行梯度聚合。利...

2026-02-09andy阅读(82)评论(0)

在大规模数据中心集群中，网络拓扑通常采用多级架构（如Fat-Tree或Spine-Leaf），跨越不同交换机（尤其是跨越核心交换机）的通信，相比同一交换机下的通信，往往具有更高的延迟和更大的带宽开销。对于需要高频、低延迟通信的应用（如分布式...

2026-02-09andy阅读(74)评论(0)

在现代深度学习分布式训练中，NVIDIA Collective Communications Library (NCCL) 是实现高性能 GPU 间通信的核心工具。NCCL 提供了多种通信算法来优化 All-Reduce、Broadcast...

2026-02-08andy阅读(89)评论(0)

分布式训练是加速大型模型训练的关键技术。在多GPU或多机环境中，梯度同步（Gradient Synchronization）的效率决定了整体训练的性能上限。在TensorFlow和PyTorch等框架中，NVIDIA的集合通信库（NCCL）...

2026-02-08andy阅读(64)评论(0)

MultiWorkerMirroredStrategy (MWMS) 是 TensorFlow 2.x 中用于多机多卡同步训练的首选策略。它通过在每个 Worker 的 GPU 上复制模型权重，并在梯度计算后使用 All-reduce 操作...

2026-02-05andy阅读(70)评论(0)

在分布式训练，尤其是深度学习模型的分布式训练中，高效的节点间通信是性能的关键。All-Reduce、All-Gather 和 Reduce-Scatter 是最核心的三种集体通信原语（Collective Communication Pri...

2026-02-03andy阅读(86)评论(0)

Kubernetes (K8s) 的核心设计要求之一是“IP-per-Pod”模型，即每个 Pod 都有一个唯一的 IP 地址，并且所有 Pod 都可以无需 NAT 地互相通信，无论它们位于哪个节点上。在单节点内部，这相对容易实现（通常通过...

2026-02-01andy阅读(106)评论(0)

在现代深度学习中，模型和数据集的规模爆炸式增长，使得分布式训练成为常态。PyTorch 的 torch.distributed 包提供了一系列高效的通信原语（Collective Operations），这些原语是实现数据并行（DDP）和模...

2025-11-09andy阅读(234)评论(0)

在现代大规模AI训练中，特别是处理LLM或大型视觉模型时，计算资源（GPU）的利用率往往受限于通信带宽和延迟。集体通信操作（如AllReduce、AllGather）是分布式训练的核心，其延迟直接决定了训练的迭代速度。要实现50%以上的延迟...