汤不热吧
Prefill 与 Decode 阶段的博弈：如何在推理引擎中优化吞吐量与时延的平衡
大规模语言模型（LLM）的推理性能是部署成功的关键。在推理过程中，模型通常经历两个截然不同的阶段：Prefill（预填充/上下文处理）和Decode（解码/生成）。理解这两个阶段的资源需求和冲突，是优化吞吐量（Throughput）和首字节...
ai-infra
第8页FlashAttention v1/v2/v3 演进史：它是如何通过减少显存读写让速度飞起来的
FlashAttention v1/v2 演进史：它是如何通过减少显存读写让速度飞起来的 自Transformer架构诞生以来，Attention机制一直是其核心但也是性能瓶颈所在。当序列长度 $N$ 增大时，标准Attention的计算复...
投机采样（Speculative Decoding）详解：用小模型带路给大模型加速的黑科技
投机采样（Speculative Decoding）详解：用小模型带路给大模型加速的黑科技 随着大型语言模型（LLM）的尺寸不断增大，推理速度成为了制约其广泛应用的关键瓶颈。标准的自回归（Autoregressive）采样模式要求模型每生成...
推理时的算子融合：为什么合并 LayerNorm 与线性层能让 QPS 提升 30%
在现代大型语言模型（LLMs）和基于 Transformer 架构的模型中，性能优化是提高服务吞吐量（QPS，Queries Per Second）的关键。其中一个最有效的策略是算子融合（Operator Fusion）。本文将深入探讨为什...
Continuous Batching 为什么比静态批处理强？拆解端到端吞吐量翻倍的秘密
在大型语言模型（LLM）部署和推理服务中，吞吐量（Throughput）是衡量服务效率的关键指标。传统的静态批处理（Static Batching, SB）方法在处理高并发请求时暴露出了严重的效率问题。而近年来，以vLLM为代表的框架所采用...
PageAttention 详解：vLLM 是如何借用操作系统的分页思想解决显存碎片的
大规模语言模型（LLM）在推理阶段面临的一个核心挑战是如何高效管理巨大的 Key-Value Cache（KV Cache）。KV Cache 存储了Attention机制中K(Key)和V(Value)矩阵的历史记录，对于长序列推理至关重...
LLM 推理必问：KV Cache 的本质是什么？为什么它能大幅降低首词后的延时
大型语言模型（LLM）在生成文本时采用自回归（Autoregressive）方式，即逐词生成。虽然这种方式保证了生成内容的连贯性，但也带来了严重的性能挑战，尤其是在长序列生成时。核心问题在于Transformer模型中的自注意力（Self-...
异构训练初探：让 CPU 与 GPU 协同工作的计算模式真的靠谱吗？
异构计算（Heterogeneous Computing）指的是在同一系统中使用不同类型的处理器（如 CPU、GPU、TPU 等）协同工作来完成任务。在深度学习训练中，最常见的异构模式就是让多核 CPU 专注于数据加载、预处理和增强（I/O...
从 PyTorch DDP 源码看分布式训练中“梯度桶（Bucket）”的同步奥秘
在PyTorch分布式数据并行（DDP）训练中，性能瓶颈往往出现在不同进程之间的梯度同步环节。为了高效地聚合梯度，DDP引入了“梯度桶”（Gradient Buckets）机制，这不仅减少了通信延迟，还实现了计算与通信的重叠（Overlap...
Checkpoint 重计算技术：用时间换空间，解决大模型训练 OOM 的最后一根稻草
梯度检查点（Checkpointing Recomputation）：用时间换空间的终极手段 随着深度学习模型规模的爆炸式增长，特别是大型语言模型（LLMs）的出现，训练过程中 GPU 显存不足（OOM, Out Of Memory）成为了...