标签：大模型推理加速

2026-09-27andy阅读(2)

在大模型推理的 Decode 阶段，每一个 token 的生成都需要访问之前所有 token 的 Key 和 Value 向量——这就是 KV Cache。一个 70B 参数的模型在 4K 上下文下，单请求的 KV Cache 就可能占用超...