标签：fsdp

2026-07-14andy阅读(11)

引言：为什么PyTorch 2.x的性能优化至关重要 随着深度学习模型规模的持续增长——从数百万参数的ResNet到数千亿参数的大语言模型——训练和推理的效率已成为机器学习工程师面临的首要挑战。PyTorch 2.x系列的发布标志着深度学习...

2026-02-01andy阅读(257)评论(0)

如何使用 PyTorch FSDP 解决超大模型单卡显存不足问题 随着大语言模型（LLM）的参数量突破百亿甚至万亿级别，传统的分布式训练方案（如DDP，数据并行）已经无法满足需求，因为DDP要求每张GPU都复制完整的模型权重、梯度和优化器状...

2025-12-20andy阅读(642)评论(0)

许多人好奇，像ChatGPT这样的大型语言模型（LLM）底层究竟使用了PyTorch还是TensorFlow？答案是：虽然两者都极其优秀，但在大型生成式AI（尤其是OpenAI/Meta/Hugging Face生态）领域，PyTorch占...

2025-11-17andy阅读(482)评论(0)

如何配置PyTorch FSDP实现千亿级模型的高效并行训练及内存优化 在训练千亿级（Trillion-Scale）参数的超大规模语言模型（LLMs）时，单卡GPU的内存限制是最大的瓶颈。PyTorch FSDP (Fully Sharde...