标签：fsdp

2025-12-20andy阅读(45)评论(0)

许多人好奇，像ChatGPT这样的大型语言模型（LLM）底层究竟使用了PyTorch还是TensorFlow？答案是：虽然两者都极其优秀，但在大型生成式AI（尤其是OpenAI/Meta/Hugging Face生态）领域，PyTorch占...

2025-11-17andy阅读(134)评论(0)

如何配置PyTorch FSDP实现千亿级模型的高效并行训练及内存优化 在训练千亿级（Trillion-Scale）参数的超大规模语言模型（LLMs）时，单卡GPU的内存限制是最大的瓶颈。PyTorch FSDP (Fully Sharde...