标签：通信

2026-02-09andy阅读(13)评论(0)

在大规模数据中心集群中，网络拓扑通常采用多级架构（如Fat-Tree或Spine-Leaf），跨越不同交换机（尤其是跨越核心交换机）的通信，相比同一交换机下的通信，往往具有更高的延迟和更大的带宽开销。对于需要高频、低延迟通信的应用（如分布式...

2026-02-09andy阅读(18)评论(0)

在现代深度学习分布式训练中，NVIDIA Collective Communications Library (NCCL) 是实现高性能 GPU 间通信的核心工具。NCCL 提供了多种通信算法来优化 All-Reduce、Broadcast...

2026-02-08andy阅读(20)评论(0)

分布式训练是加速大型模型训练的关键技术。在多GPU或多机环境中，梯度同步（Gradient Synchronization）的效率决定了整体训练的性能上限。在TensorFlow和PyTorch等框架中，NVIDIA的集合通信库（NCCL）...

2026-02-08andy阅读(21)评论(0)

MultiWorkerMirroredStrategy (MWMS) 是 TensorFlow 2.x 中用于多机多卡同步训练的首选策略。它通过在每个 Worker 的 GPU 上复制模型权重，并在梯度计算后使用 All-reduce 操作...

2026-02-05andy阅读(31)评论(0)

在分布式训练，尤其是深度学习模型的分布式训练中，高效的节点间通信是性能的关键。All-Reduce、All-Gather 和 Reduce-Scatter 是最核心的三种集体通信原语（Collective Communication Pri...

2026-02-03andy阅读(42)评论(0)

Kubernetes (K8s) 的核心设计要求之一是“IP-per-Pod”模型，即每个 Pod 都有一个唯一的 IP 地址，并且所有 Pod 都可以无需 NAT 地互相通信，无论它们位于哪个节点上。在单节点内部，这相对容易实现（通常通过...

2026-02-01andy阅读(62)评论(0)

在现代深度学习中，模型和数据集的规模爆炸式增长，使得分布式训练成为常态。PyTorch 的 torch.distributed 包提供了一系列高效的通信原语（Collective Operations），这些原语是实现数据并行（DDP）和模...

2025-11-09andy阅读(192)评论(0)

在现代大规模AI训练中，特别是处理LLM或大型视觉模型时，计算资源（GPU）的利用率往往受限于通信带宽和延迟。集体通信操作（如AllReduce、AllGather）是分布式训练的核心，其延迟直接决定了训练的迭代速度。要实现50%以上的延迟...