标签：fsdp

2026-02-01andy阅读(29)评论(0)

如何使用 PyTorch FSDP 解决超大模型单卡显存不足问题 随着大语言模型（LLM）的参数量突破百亿甚至万亿级别，传统的分布式训练方案（如DDP，数据并行）已经无法满足需求，因为DDP要求每张GPU都复制完整的模型权重、梯度和优化器状...

2025-12-20andy阅读(162)评论(0)

许多人好奇，像ChatGPT这样的大型语言模型（LLM）底层究竟使用了PyTorch还是TensorFlow？答案是：虽然两者都极其优秀，但在大型生成式AI（尤其是OpenAI/Meta/Hugging Face生态）领域，PyTorch占...

2025-11-17andy阅读(199)评论(0)

如何配置PyTorch FSDP实现千亿级模型的高效并行训练及内存优化 在训练千亿级（Trillion-Scale）参数的超大规模语言模型（LLMs）时，单卡GPU的内存限制是最大的瓶颈。PyTorch FSDP (Fully Sharde...