汤不热吧
请解释 NCCL 中的通信环（Ring）和树（Tree）算法分别在什么规模下最优？
在现代深度学习分布式训练中，NVIDIA Collective Communications Library (NCCL) 是实现高性能 GPU 间通信的核心工具。NCCL 提供了多种通信算法来优化 All-Reduce、Broadcast...
标签：tree
Git 对象模型与存储机制深度解析：从 blob 到 commit 的底层原理
对于每天都在使用 Git 的开发者而言， 1git add 、 1git commit 、 1git push 这些命令早已成为肌肉记忆。但 Git 底层究竟是如何存储这些数据的？为什么 Git 能做到近乎瞬时的分支切换？ 1.git 目录...
怎样选择合适的网络拓扑（Fat Tree/Torus）来优化大规模训练？
大规模深度学习（LLM、视觉模型）的训练已经从单卡扩展到数千张GPU的集群。在这一规模下，网络通信而非计算速度，往往成为系统性能的决定性瓶颈。选择正确的网络拓扑对于优化All-Reduce等集体通信操作至关重要。 本文将深入比较两种最流行的...