汤不热吧
PD分离架构（Prefill-Decode Disaggregation）实战详解：原理拆解、vLLM/SGLang部署与多卡推理性能调优全攻略
为什么大模型推理需要 PD 分离架构 在大模型推理服务化的实际工程中，我们经常会遇到一个让人头疼的现象：当一个长上下文请求（比如 8K tokens 的 Prefill）和一批短上下文的 Decode 请求混在一起时，整体吞吐和延迟都会急剧...
标签：大模型推理优化
NVIDIA Nsight Systems 实战详解：大模型推理 GPU 性能瓶颈诊断与 TFLOPS 算力计算全攻略
在大模型推理部署中，GPU 利用率不等于性能最优。很多团队部署完 vLLM 或 TensorRT-LLM 后，发现吞吐量远低于预期，却不知道瓶颈到底在显存带宽、计算单元、还是数据传输。NVIDIA Nsight Systems（简称 Nsi...
FlashDecoding 与 FlashInfer 深度解析：大模型推理 Decode 阶段 Attention 并行加速从原理到实战
在大模型推理的整个生命周期中，Decode 阶段往往是性能瓶颈所在。Prefill 阶段虽然计算量大，但可以通过大规模矩阵乘法充分利用 GPU 的并行能力；而 Decode 阶段逐 token 生成，每次只处理一个 query token ...
DeepSeek MLA（多头潜在注意力）深度解析：如何用低秩压缩将 KV Cache 压缩到原来的 1/10
在大模型推理的工程实践中，KV Cache 是一把双刃剑：它通过缓存历史 Token 的 Key 和 Value 向量避免了重复计算，是自回归推理加速的基石；但它同时也是显存消耗的”头号杀手”。以一个 70B 参数模...
实战详解：如何利用 CUDA Stream 实现多模型推理的并发调度以最大化 GPU 利用率
在生产环境中，GPU 资源往往十分昂贵。当你部署多个轻量级模型（如分类器、Embedding 模型、检测头）时，如果每个模型独占一张 GPU，资源浪费会非常严重。CUDA Stream 提供了一种在同一张 GPU 上并发执行多个推理任务的机...