排查实录:当 NCCL 通信出现 Time Out 时,你该如何确定是光模块坏了还是拓扑配置错了?
当我们在大规模 GPU 集群上进行分布式训练时,NCCL (NVIDIA Collective Communications Library) 扮演着核心的通信角色。如果训练过程频繁出现 NCCL Time Out 错误,这通常意味着节点间...
当我们在大规模 GPU 集群上进行分布式训练时,NCCL (NVIDIA Collective Communications Library) 扮演着核心的通信角色。如果训练过程频繁出现 NCCL Time Out 错误,这通常意味着节点间...
Kubernetes 的准入控制器(Admission Controllers)是控制集群变更的关键组件。其中,MutatingAdmissionWebhook 允许我们在资源对象被持久化到 etcd 之前对其进行修改(突变)。这使得我们可...
作为一名开发者,我们每天都在使用 Git 进行版本控制。然而,一些常用的指令,如查看历史日志、暂存文件状态或复杂重置操作,输入起来既耗时又容易出错。Git 提供了强大的全局别名(Alias)功能,允许我们将这些长指令封装成极简的缩写。 什么...
在现代的云原生应用开发中,将应用配置(如数据库连接字符串、日志级别、外部API地址)硬编码到容器镜像中是一种反模式。这种做法不仅使得跨环境部署变得困难,也严重阻碍了CI/CD的效率。 Kubernetes 提供了 ConfigMap 这一核...
在 Kubernetes (K8s) 中,标准的 Service (如 ClusterIP 或 NodePort) 通常用于在 Pod 集合前提供一个稳定的、负载均衡的虚拟 IP。然而,对于需要感知集群内所有成员状态的分布式有状态应用(如 ...