标签：pytorch

2025-12-14andy阅读(61)评论(0)

简介：差分隐私与Opacus 在模型训练中保护用户数据隐私是AI基础设施面临的关键挑战。差分隐私（Differential Privacy, DP）提供了一种量化的、数学上可证明的隐私保护机制。实现DP-SGD（Differentially...

2025-11-21andy阅读(119)评论(0)

在AI模型部署领域，性能是决定服务质量的关键因素。尽管PyTorch提供了灵活的Eager模式和JIT（TorchScript），但其运行时仍可能存在解释器开销和次优的计算图融合。为了将PyTorch模型的推理速度推向极致，我们需要引入专业...

2025-11-21andy阅读(116)评论(0)

模型剪枝（Pruning）和量化（Quantization）是AI基础设施优化的两大核心手段。它们能显著减少模型的内存占用和计算复杂度，尤其对于边缘设备和高并发推理服务至关重要。虽然早期有像Distiller这样的专用工具包，但在现代PyT...

2025-11-17andy阅读(132)评论(0)

如何配置PyTorch FSDP实现千亿级模型的高效并行训练及内存优化 在训练千亿级（Trillion-Scale）参数的超大规模语言模型（LLMs）时，单卡GPU的内存限制是最大的瓶颈。PyTorch FSDP (Fully Sharde...