标签：投机解码

2026-09-29andy阅读(27)

在大模型推理部署中，Decode阶段的自回归特性决定了每个token生成都需要一次完整的前向传播，这导致推理吞吐量被GPU计算效率严重制约。即使使用了PagedAttention和Continuous Batching等优化技术，Decod...

2026-08-01andy阅读(201)

什么是投机解码：从思想实验到工程实践 大语言模型（LLM）的推理瓶颈在哪里？如果你回答”计算量”，那只对了一半。在实际部署中，真正制约吞吐量的往往是内存带宽而非算力——每次生成一个 token，模型都需要将全部权重从...