标签：kv

2026-02-01andy阅读(14)评论(0)

在汽车智能座舱环境中，部署多模态大模型（如处理语音、视觉和文本的VLM/LLM）是提升用户体验的关键。然而，座舱系统通常对硬件资源（尤其是GPU/NPU的显存）具有严格的限制。当用户进行长时间的连续对话时，大模型用于存储历史信息的KV Ca...

2025-11-20andy阅读(201)评论(0)

引言：为什么KV Cache是LLM推理的生命线？ 对于自回归（Autoregressive）的Transformer模型，特别是大型语言模型（LLMs），推理延迟主要发生在解码阶段。每生成一个新的Token，模型必须回顾所有历史Token...