标签：并行

2026-02-01andy阅读(5)评论(0)

张量并行（Tensor Parallelism, TP）是大型语言模型（LLMs）训练和推理中必不可少的优化技术，它通过在不同设备（如GPU）上切分模型的权重张量来扩展计算能力。在Transformer架构中，Attention层和MLP层...

2026-02-01andy阅读(9)评论(0)

导语：为什么流水线并行会产生“气泡”？ 在训练超大规模深度学习模型时（如GPT系列），单个GPU的显存往往无法容纳整个模型。我们不得不采用模型并行策略，其中，流水线并行（Pipeline Parallelism, PP）是一种常用的方法，它...

2026-02-01andy阅读(8)评论(0)

如何使用 PyTorch FSDP 解决超大模型单卡显存不足问题 随着大语言模型（LLM）的参数量突破百亿甚至万亿级别，传统的分布式训练方案（如DDP，数据并行）已经无法满足需求，因为DDP要求每张GPU都复制完整的模型权重、梯度和优化器状...

2026-01-31andy阅读(14)评论(0)

在训练大规模深度学习模型（特别是LLMs）时，单块GPU的计算能力和内存往往无法满足需求。分布式训练是解决这一问题的核心手段。面试中，区分数据并行（DP）、模型并行（MP/TP）和流水线并行（PP）及其切分依据，是考察候选人分布式系统理解能...

2026-01-30andy阅读(18)评论(0)

引言：为什么需要 Faiss GPU？ 在处理海量向量数据（例如，数百万或数十亿个128维或更高维度的向量）时，传统的CPU计算受限于核心数量和内存带宽，查询延迟往往难以接受。Faiss通过其高度优化的GPU模块，能够充分利用NVIDIA ...