标签：batch

2026-02-05andy阅读(68)评论(0)

在分布式 AI 训练任务中（例如 PyTorch Distributed 或 Horovod），一个任务通常包含多个相互依赖的 Pods（例如一个 Master 和 N 个 Worker）。这些 Pods 必须同时启动才能开始工作。如果 K...

2026-02-01andy阅读(71)评论(0)

在深度学习的训练过程中，Batch Size（批次大小）是一个至关重要的超参数。通常情况下，更大的 Batch Size 能够提供更准确的梯度估计，有助于模型收敛到更优的解。然而，当模型参数量巨大或输入数据维度极高时，有限的显存（VRAM）...