
大模型推理中的 Prefix Caching 与 RadixAttention 深度解析:从 KV Cache 复用到请求调度的全链路优化
为什么 Prefix Caching 成为大模型推理的必备优化? 在大模型推理服务的生产环境中,一个经常被忽视但影响巨大的现象是:大量请求共享相同的前缀。无论是系统提示词(System Prompt)、Few-shot 示例,还是多轮对话中...

为什么 Prefix Caching 成为大模型推理的必备优化? 在大模型推理服务的生产环境中,一个经常被忽视但影响巨大的现象是:大量请求共享相同的前缀。无论是系统提示词(System Prompt)、Few-shot 示例,还是多轮对话中...

引言:为什么梯度累积是大模型训练的”隐形基础设施” 在 ChatGPT 横空出世的三年后,大模型训练的”显学”似乎已经从单卡微调转移到了千卡预训练。各类技术文章铺天盖地讨论着 3D 并行、Ze...

fp8_dpa是什么,Megatron为何没有启用FP8 Attention?对照TE与Megatron配置,纠正margin和amax历史窗口误解,附最小代码与BF16验收方法。

引言:Prefill 阶段的”独木桥”困境 在大模型推理的工程实践中,我们常常遇到这样一个矛盾场景:当请求队列中有一个长文本(比如 32K tokens 的法律文档)正在进行 Prefill 处理时,后面排队等候的短...
引言:为什么 Batching 策略决定了推理服务的天花板 在大模型推理服务的工程实践中,有一个经常被低估却至关重要的设计决策:如何将并发的用户请求组织成批次(Batch)送入 GPU 执行。这个看似简单的调度问题,实际上直接决定了服务的吞...
在大型语言模型(LLM)的推理过程中,通常分为两个关键阶段:Prefill(预填充/处理Prompt)阶段和Decode(解码/自回归生成)阶段。这两个阶段对硬件资源的需求截然不同,理解它们的瓶颈对于优化推理性能至关重要。 1. 概念定义:...
在脱离了熟悉的 CUDA 生态后,针对华为昇腾(Ascend)硬件进行深度学习模型推理性能优化,是许多开发者需要面临的挑战。昇腾平台的核心是 CANN(Compute Architecture for Neural Networks)工具链...

PD 分离部署是否值得做?本文拆解 Prefill/Decode 资源差异、KV Cache 传输、网络与调度瓶颈,并给出 vLLM、SGLang 的选型和部署方法。
在资源受限的端侧设备(如手机、IoT设备)上部署深度学习模型时,模型量化(通常是转换为INT8)是降低延迟和功耗的关键技术。然而,量化方案并非只有一种。本文将对比静态离线量化(Static Post-Training Quantizatio...
需要把通信原理变成可比较的基线?查看all_reduce_perf 带宽排查与日志汇总方法,区分 algbw、busbw 与两种内存模式。 在现代深度学习分布式训练中,NVIDIA Collective Communications Lib...