2026年02月的文章

2026-02-01andy阅读(270)评论(0)

如何使用 PyTorch FSDP 解决超大模型单卡显存不足问题 随着大语言模型（LLM）的参数量突破百亿甚至万亿级别，传统的分布式训练方案（如DDP，数据并行）已经无法满足需求，因为DDP要求每张GPU都复制完整的模型权重、梯度和优化器状...

2026-02-01andy阅读(349)评论(0)

在深度学习的训练过程中，Batch Size（批次大小）是一个至关重要的超参数。通常情况下，更大的 Batch Size 能够提供更准确的梯度估计，有助于模型收敛到更优的解。然而，当模型参数量巨大或输入数据维度极高时，有限的显存（VRAM）...

2026-02-01andy阅读(332)评论(0)

在汽车智能座舱环境中，部署多模态大模型（如处理语音、视觉和文本的VLM/LLM）是提升用户体验的关键。然而，座舱系统通常对硬件资源（尤其是GPU/NPU的显存）具有严格的限制。当用户进行长时间的连续对话时，大模型用于存储历史信息的KV Ca...

2026-02-01andy阅读(304)评论(0)

如何使用特征扰动法为黑箱LLM生成高可信度的可解释性报告 随着GPT-4、Claude等大型语言模型成为主流，它们在生产环境中的应用日益广泛。然而，这些模型通常作为黑箱（Black-Box）服务通过API提供，我们无法访问其权重或梯度，这使...

2026-02-01andy阅读(392)评论(0)

在Python中，当我们使用multiprocessing模块实现并发时，与多线程（threading）不同，子进程拥有独立的内存空间。这意味着父进程中定义的普通变量（如列表、字典、普通对象实例）不会自动且安全地在子进程间共享。如果尝试直接...

2026-02-01andy阅读(373)评论(0)

作为Python异步编程（尤其是asyncio）的核心，yield from和await都用于暂停当前函数的执行并委托给另一个操作。然而，它们在控制流的本质和设计目标上存在显著差异。理解这些差异对于掌握现代Python异步模型至关重要。 1...