汤不热吧
大模型推理中的 Prefix Caching 与 RadixAttention 深度解析：从 KV Cache 复用到请求调度的全链路优化
为什么 Prefix Caching 成为大模型推理的必备优化？ 在大模型推理服务的生产环境中，一个经常被忽视但影响巨大的现象是：大量请求共享相同的前缀。无论是系统提示词（System Prompt）、Few-shot 示例，还是多轮对话中...
ai-infra
大模型训练中的梯度累积深度解析：从数学原理到 Megatron-LM 流水线并行的工程实现
引言：为什么梯度累积是大模型训练的”隐形基础设施” 在 ChatGPT 横空出世的三年后，大模型训练的”显学”似乎已经从单卡微调转移到了千卡预训练。各类技术文章铺天盖地讨论着 3D 并行、Ze...
FP8 量化训练深度解析：从原理到工程实践，大模型训练如何从 BF16 迈向 8-bit 时代
引言：为什么大模型训练需要 FP8？ 随着大语言模型的参数量从数十亿迈向数千亿，训练过程中的显存消耗和计算吞吐成为核心瓶颈。以 Llama 3 405B 为例，使用 BF16 精度训练仅模型参数就需要约 810GB 显存，加上梯度、优化器状...
Chunked Prefill 技术深度解析：破解大模型长上下文推理的 Prefill 延迟困局
引言：Prefill 阶段的”独木桥”困境 在大模型推理的工程实践中，我们常常遇到这样一个矛盾场景：当请求队列中有一个长文本（比如 32K tokens 的法律文档）正在进行 Prefill 处理时，后面排队等候的短...
大模型推理中的 Continuous Batching 深度解析：从 Static Batching 到 Iteration-Level Scheduling 的演进之路
引言：为什么 Batching 策略决定了推理服务的天花板 在大模型推理服务的工程实践中，有一个经常被低估却至关重要的设计决策：如何将并发的用户请求组织成批次（Batch）送入 GPU 执行。这个看似简单的调度问题，实际上直接决定了服务的吞...
为什么大模型推理的 Prefill 阶段是算力受限，而 Decode 阶段却是访存受限？
在大型语言模型（LLM）的推理过程中，通常分为两个关键阶段：Prefill（预填充/处理Prompt）阶段和Decode（解码/自回归生成）阶段。这两个阶段对硬件资源的需求截然不同，理解它们的瓶颈对于优化推理性能至关重要。 1. 概念定义：...
华为昇腾适配经验：在没有 CUDA 的日子里，如何利用 CANN 调优模型性能
在脱离了熟悉的 CUDA 生态后，针对华为昇腾（Ascend）硬件进行深度学习模型推理性能优化，是许多开发者需要面临的挑战。昇腾平台的核心是 CANN（Compute Architecture for Neural Networks）工具链...
PD 分离部署（Prefill/Decode Disaggregation）深度解析：为什么大模型推理架构正从单体走向分体？
从单体到分体：为什么大模型推理正在走向 Prefill/Decode 分离部署？ 2024 年下半年以来，大模型推理架构迎来了一个新的趋势——PD 分离部署（Prefill/Decode Disaggregation）。简单来说，就是将传统...
静态离线量化 vs 动态在线量化：在端侧推理时，哪种方案更能降低处理器的功耗开销？
在资源受限的端侧设备（如手机、IoT设备）上部署深度学习模型时，模型量化（通常是转换为INT8）是降低延迟和功耗的关键技术。然而，量化方案并非只有一种。本文将对比静态离线量化（Static Post-Training Quantizatio...
请解释 NCCL 中的通信环（Ring）和树（Tree）算法分别在什么规模下最优？
在现代深度学习分布式训练中，NVIDIA Collective Communications Library (NCCL) 是实现高性能 GPU 间通信的核心工具。NCCL 提供了多种通信算法来优化 All-Reduce、Broadcast...