汤不热吧
PD分离架构（Prefill-Decode Disaggregation）实战详解：原理拆解、vLLM/SGLang部署与多卡推理性能调优全攻略
为什么大模型推理需要 PD 分离架构 在大模型推理服务化的实际工程中，我们经常会遇到一个让人头疼的现象：当一个长上下文请求（比如 8K tokens 的 Prefill）和一批短上下文的 Decode 请求混在一起时，整体吞吐和延迟都会急剧...
标签：KV Cache传输
为什么大模型推理需要 PD 分离架构 在大模型推理服务化的实际工程中，我们经常会遇到一个让人头疼的现象：当一个长上下文请求（比如 8K tokens 的 Prefill）和一批短上下文的 Decode 请求混在一起时，整体吞吐和延迟都会急剧...