汤不热吧
请解释 NCCL 中的通信环（Ring）和树（Tree）算法分别在什么规模下最优？
需要把通信原理变成可比较的基线？查看all_reduce_perf 带宽排查与日志汇总方法，区分 algbw、busbw 与两种内存模式。 在现代深度学习分布式训练中，NVIDIA Collective Communications Lib...
标签：tree
Git 对象模型与存储机制深度解析：从 blob 到 commit 的底层原理
对于每天都在使用 Git 的开发者而言， 1git add 、 1git commit 、 1git push 这些命令早已成为肌肉记忆。但 Git 底层究竟是如何存储这些数据的？为什么 Git 能做到近乎瞬时的分支切换？ 1.git 目录...
怎样选择合适的网络拓扑（Fat Tree/Torus）来优化大规模训练？
大规模深度学习（LLM、视觉模型）的训练已经从单卡扩展到数千张GPU的集群。在这一规模下，网络通信而非计算速度，往往成为系统性能的决定性瓶颈。选择正确的网络拓扑对于优化All-Reduce等集体通信操作至关重要。 本文将深入比较两种最流行的...