标签：Continuous Batching

2026-08-19andy阅读(68)

引言：LLM 推理服务的吞吐量困局 当我们将一个大语言模型部署到生产环境时，最核心的挑战往往不是模型本身的精度，而是如何高效地利用 GPU 算力服务海量并发请求。一个 7B 参数的模型在单张 A100 上串行推理，每个请求可能需要数百毫秒到...

2026-07-27andy阅读(119)

引言：为什么 Batching 策略决定了推理服务的天花板 在大模型推理服务的工程实践中，有一个经常被低估却至关重要的设计决策：如何将并发的用户请求组织成批次（Batch）送入 GPU 执行。这个看似简单的调度问题，实际上直接决定了服务的吞...

2026-07-26andy阅读(444)

从单体到分体：为什么大模型推理正在走向 Prefill/Decode 分离部署？ 2024 年下半年以来，大模型推理架构迎来了一个新的趋势——PD 分离部署（Prefill/Decode Disaggregation）。简单来说，就是将传统...