汤不热吧
大模型推理中的 Prefix Caching 与 RadixAttention 深度解析：从 KV Cache 复用到请求调度的全链路优化
为什么 Prefix Caching 成为大模型推理的必备优化？ 在大模型推理服务的生产环境中，一个经常被忽视但影响巨大的现象是：大量请求共享相同的前缀。无论是系统提示词（System Prompt）、Few-shot 示例，还是多轮对话中...
标签：AI Infra
大模型训练中的梯度累积深度解析：从数学原理到 Megatron-LM 流水线并行的工程实现
引言：为什么梯度累积是大模型训练的”隐形基础设施” 在 ChatGPT 横空出世的三年后，大模型训练的”显学”似乎已经从单卡微调转移到了千卡预训练。各类技术文章铺天盖地讨论着 3D 并行、Ze...
FP8 量化训练深度解析：从原理到工程实践，大模型训练如何从 BF16 迈向 8-bit 时代
引言：为什么大模型训练需要 FP8？ 随着大语言模型的参数量从数十亿迈向数千亿，训练过程中的显存消耗和计算吞吐成为核心瓶颈。以 Llama 3 405B 为例，使用 BF16 精度训练仅模型参数就需要约 810GB 显存，加上梯度、优化器状...
Chunked Prefill 技术深度解析：破解大模型长上下文推理的 Prefill 延迟困局
引言：Prefill 阶段的”独木桥”困境 在大模型推理的工程实践中，我们常常遇到这样一个矛盾场景：当请求队列中有一个长文本（比如 32K tokens 的法律文档）正在进行 Prefill 处理时，后面排队等候的短...
大模型推理中的 Continuous Batching 深度解析：从 Static Batching 到 Iteration-Level Scheduling 的演进之路
引言：为什么 Batching 策略决定了推理服务的天花板 在大模型推理服务的工程实践中，有一个经常被低估却至关重要的设计决策：如何将并发的用户请求组织成批次（Batch）送入 GPU 执行。这个看似简单的调度问题，实际上直接决定了服务的吞...
大模型推理引擎深度对比：vLLM、TensorRT-LLM、SGLang 生产级部署实战
引言：大模型推理为何成为部署瓶颈 2024年以来，大语言模型（LLM）的能力持续攀升，从GPT-4、Claude 3到Llama 3、Qwen2，模型参数量动辄数百亿，推理成本居高不下。当企业从”调API体验”转向&...
PyTorch FSDP（Fully Sharded Data Parallel）源码级深度解析：从 ZeRO-3 实现原理到生产环境调优实战
一、引言：当模型参数放不进单卡显存时 随着大语言模型规模的不断膨胀，从 BERT-base 的 1.1 亿参数到 Llama 3 的 4050 亿参数，单张 GPU 的显存早已无法承载完整的模型训练。即便是拥有 80GB HBM3 显存的 ...
SGLang vs vLLM：大模型推理引擎架构设计与性能深度对比
引言：推理引擎之争的底层逻辑 随着大语言模型（LLM）在各行各业的落地加速，模型推理效率已成为制约规模化部署的核心瓶颈。在众多开源推理框架中，vLLM 和 SGLang 是最受关注的两个项目。vLLM 由 UC Berkeley 的 Sky...
大模型推理中KV Cache量化技术深度解析：从理论基础到INT4/INT8的工程实践
为什么需要量化KV Cache？ 在大语言模型（LLM）的推理过程中，KV Cache（Key-Value Cache）是一个绕不开的核心组件。当模型以自回归方式逐Token生成文本时，对于Decoder-only架构的Transforme...
Speculative Decoding（推测解码）深度解析：用「以小博大」的思路破解大模型推理延迟瓶颈
引言：大模型推理的”慢”到底慢在哪里？ 如果你在生产环境中部署过 GPT 级别的自回归语言模型，一定对 Token 生成速度之慢感同身受：即使在 A100/H100 这类顶级 GPU 上，大模型的 Decode 阶段...