标签：cache

2026-02-01andy阅读(14)评论(0)

在汽车智能座舱环境中，部署多模态大模型（如处理语音、视觉和文本的VLM/LLM）是提升用户体验的关键。然而，座舱系统通常对硬件资源（尤其是GPU/NPU的显存）具有严格的限制。当用户进行长时间的连续对话时，大模型用于存储历史信息的KV Ca...

2026-01-29andy阅读(27)评论(0)

在深度学习模型的训练和推理过程中，尤其是在使用PyTorch时，我们经常会遇到一个棘手的问题：明明通过 nvidia-smi 看到显存（GPU Memory）还有剩余，但在尝试分配新的大张量时却报出了 OOM（Out of Memory）错...

2026-01-06andy阅读(59)评论(0)

引言：为什么传统部署方法无法应对LLM的流量高峰？ 大型语言模型（LLM）的部署面临两大核心挑战：低延迟（用户响应时间）和高吞吐量（每秒处理的总请求数）。传统的推理框架，如基于标准的Hugging Face Transformers，在处理...

2025-11-20andy阅读(201)评论(0)

引言：为什么KV Cache是LLM推理的生命线？ 对于自回归（Autoregressive）的Transformer模型，特别是大型语言模型（LLMs），推理延迟主要发生在解码阶段。每生成一个新的Token，模型必须回顾所有历史Token...