汤不热吧
大模型推理显存占用拆解与 HBM 带宽瓶颈诊断实战：从 VRAM 精确测算到 Roofline 模型优化的完整指南
在大模型推理工程实践中，很多人把注意力放在算力（TFLOPS）上，却忽略了另一个同等关键、甚至往往是真正瓶颈的资源——显存带宽。Llama 3 70B 这类模型在 Decode 阶段每生成一个 token 就要读取全部权重，70B 参数 ×...
标签：GPU显存优化
S-LoRA 深度解析：大模型多租户推理中如何让数千个 LoRA 适配器共享一个基座模型？
在大模型落地应用的过程中，一个愈发普遍的需求是：同一个基座模型（如 LLaMA-3-70B），需要同时服务数千个不同的下游任务。每个任务有自己的微调权重——客服对话、代码补全、文档摘要、多语言翻译……如果为每个任务都部署一个独立模型副本，显...