
PD 分离部署(Prefill/Decode Disaggregation)深度解析:为什么大模型推理架构正从单体走向分体?
从单体到分体:为什么大模型推理正在走向 Prefill/Decode 分离部署? 2024 年下半年以来,大模型推理架构迎来了一个新的趋势——PD 分离部署(Prefill/Decode Disaggregation)。简单来说,就是将传统...

从单体到分体:为什么大模型推理正在走向 Prefill/Decode 分离部署? 2024 年下半年以来,大模型推理架构迎来了一个新的趋势——PD 分离部署(Prefill/Decode Disaggregation)。简单来说,就是将传统...