让任务自动执行:利用 CronJob 与 Job 实现 K8s 集群内的自动化脚本调度
在 Kubernetes (K8s) 环境中,我们经常需要运行一些非持久化的、最终会完成的批处理任务,例如数据备份、清理操作、定期报告生成或一次性的数据迁移。这些任务不适合使用常规的 Deployment 或 DaemonSet。Kuber...
在 Kubernetes (K8s) 环境中,我们经常需要运行一些非持久化的、最终会完成的批处理任务,例如数据备份、清理操作、定期报告生成或一次性的数据迁移。这些任务不适合使用常规的 Deployment 或 DaemonSet。Kuber...
导语:为什么流水线并行会产生“气泡”? 在训练超大规模深度学习模型时(如GPT系列),单个GPU的显存往往无法容纳整个模型。我们不得不采用模型并行策略,其中,流水线并行(Pipeline Parallelism, PP)是一种常用的方法,它...
在 Python 的异步编程中,asyncio 提供了强大的高层抽象(如 async/await、asyncio.run)。然而,对于需要精细控制任务执行顺序、实现自定义调度逻辑或与特定底层 I/O 机制集成的场景,我们需要深入了解其低级 ...
在现代云计算环境中,Kubernetes (K8s) Pod 是最小的部署和调度单元。一个 Pod 看起来就像一台独立、拥有自己 IP 地址的虚拟机,但它在物理上与其他 Pod 共享宿主机内核。这种“看起来是独立”的能力,正是由 Linux...