汤不热吧
PagedAttention 深度解析：vLLM 如何用操作系统分页机制革命性管理 KV Cache 显存
在大模型推理的 Decode 阶段，每一个 token 的生成都需要访问之前所有 token 的 Key 和 Value 向量——这就是 KV Cache。一个 70B 参数的模型在 4K 上下文下，单请求的 KV Cache 就可能占用超...
标签：KV Cache
vLLM 推理参数调优全攻略：从 gpu_memory_utilization 到 max_num_batched_tokens 的性能优化实战
在大模型推理部署中，vLLM 凭借 PagedAttention、Continuous Batching 等核心技术成为了最流行的推理框架之一。然而，很多开发者在部署 vLLM 时仅仅使用了默认参数，并没有深入理解每个启动参数对吞吐量、延迟...
DeepSeek MLA（多头潜在注意力）深度解析：如何用低秩压缩将 KV Cache 压缩到原来的 1/10
在大模型推理的工程实践中，KV Cache 是一把双刃剑：它通过缓存历史 Token 的 Key 和 Value 向量避免了重复计算，是自回归推理加速的基石；但它同时也是显存消耗的”头号杀手”。以一个 70B 参数模...
大模型推理中的 Prefix Caching 与 RadixAttention 深度解析：从 KV Cache 复用到请求调度的全链路优化
为什么 Prefix Caching 成为大模型推理的必备优化？ 在大模型推理服务的生产环境中，一个经常被忽视但影响巨大的现象是：大量请求共享相同的前缀。无论是系统提示词（System Prompt）、Few-shot 示例，还是多轮对话中...
大模型推理加速核心：从 MHA 到 GQA 再到 MQA，KV Cache 优化机制全解析
为什么 KV Cache 成了大模型推理的命门？ 在 Transformer 架构的大语言模型中，自回归生成（autoregressive generation）是推理阶段的核心模式——每生成一个新 token，模型都需要关注之前所有已生成...
Chunked Prefill 技术深度解析：破解大模型长上下文推理的 Prefill 延迟困局
引言：Prefill 阶段的”独木桥”困境 在大模型推理的工程实践中，我们常常遇到这样一个矛盾场景：当请求队列中有一个长文本（比如 32K tokens 的法律文档）正在进行 Prefill 处理时，后面排队等候的短...
大模型推理中的 Continuous Batching 深度解析：从 Static Batching 到 Iteration-Level Scheduling 的演进之路
引言：为什么 Batching 策略决定了推理服务的天花板 在大模型推理服务的工程实践中，有一个经常被低估却至关重要的设计决策：如何将并发的用户请求组织成批次（Batch）送入 GPU 执行。这个看似简单的调度问题，实际上直接决定了服务的吞...
大规模LLM推理优化全面指南：KV Cache、Speculative Decoding与模型量化实战
随着大语言模型（LLM）在生产环境中的广泛部署，推理效率已成为制约应用落地的核心瓶颈。2026年的今天，从DeepSeek V4到Claude Sonnet 4，模型参数规模持续增长，但硬件算力的提升速度远跟不上模型规模的增长速度。如何在有...
PD 分离部署实战：Prefill/Decode 架构、KV Cache 传输与 vLLM/SGLang 选型
系统讲解大模型 PD 分离部署：Prefill 与 Decode 的资源差异、KV Cache 传输、调度策略、网络要求，以及 vLLM 和 SGLang 的选型方法。
大模型推理中KV Cache量化技术深度解析：从理论基础到INT4/INT8的工程实践
为什么需要量化KV Cache？ 在大语言模型（LLM）的推理过程中，KV Cache（Key-Value Cache）是一个绕不开的核心组件。当模型以自回归方式逐Token生成文本时，对于Decoder-only架构的Transforme...
- 1
- 2
- 共 2 页