汤不热吧
大模型推理显存占用拆解与 HBM 带宽瓶颈诊断实战：从 VRAM 精确测算到 Roofline 模型优化的完整指南
在大模型推理工程实践中，很多人把注意力放在算力（TFLOPS）上，却忽略了另一个同等关键、甚至往往是真正瓶颈的资源——显存带宽。Llama 3 70B 这类模型在 Decode 阶段每生成一个 token 就要读取全部权重，70B 参数 ×...
标签：FP8量化推理
NVIDIA Nsight Systems 实战详解：大模型推理 GPU 性能瓶颈诊断与 TFLOPS 算力计算全攻略
在大模型推理部署中，GPU 利用率不等于性能最优。很多团队部署完 vLLM 或 TensorRT-LLM 后，发现吞吐量远低于预期，却不知道瓶颈到底在显存带宽、计算单元、还是数据传输。NVIDIA Nsight Systems（简称 Nsi...