标签：tree

2026-02-09andy阅读(52)评论(0)

在现代深度学习分布式训练中，NVIDIA Collective Communications Library (NCCL) 是实现高性能 GPU 间通信的核心工具。NCCL 提供了多种通信算法来优化 All-Reduce、Broadcast...

2025-11-30andy阅读(249)评论(0)

大规模深度学习（LLM、视觉模型）的训练已经从单卡扩展到数千张GPU的集群。在这一规模下，网络通信而非计算速度，往往成为系统性能的决定性瓶颈。选择正确的网络拓扑对于优化All-Reduce等集体通信操作至关重要。 本文将深入比较两种最流行的...