汤不热吧
从 CUDA 核函数的指令发射看：为什么说 Warp Divergence 是高性能算子的“性能杀手”？
Warp Divergence（线程束分化）是CUDA编程中一个极其重要的概念，它直接关系到核函数（Kernel）的执行效率。对于追求极致性能的高性能算子来说，理解并消除Warp Divergence是提升速度的关键。 1. 什么是Warp...
ai-infra
第2页一道算力估算题：已知 A100 的内存带宽与算力，请计算矩阵乘法（GEMM）在何种规模下会达到算力峰值？
在高性能计算（HPC）领域，理解何时工作负载受限于计算能力（Compute Bound）或内存带宽（Memory Bound）至关重要。这通常通过“屋顶线模型”（Roofline Model）来分析。 对于矩阵乘法（GEMM）任务，我们希望...
静态离线量化 vs 动态在线量化：在端侧推理时，哪种方案更能降低处理器的功耗开销？
在资源受限的端侧设备（如手机、IoT设备）上部署深度学习模型时，模型量化（通常是转换为INT8）是降低延迟和功耗的关键技术。然而，量化方案并非只有一种。本文将对比静态离线量化（Static Post-Training Quantizatio...
别只知道 FlashAttention：带你算算 Attention 算子在不同 QKV 维度下的显存读写比例。
别只知道 FlashAttention 的效果好，理解其背后的原理——解决显存带宽瓶颈——对于优化深度学习模型至关重要。标准 Self-Attention 机制在序列长度 $L$ 较大时，其性能瓶颈并非是计算量（FLOPs），而是显存的读写...
假如你是架构师：如何在保持低延时的前提下，利用多副本模型支撑百万级的并发长文本请求？
作为架构师，支撑百万级的并发长文本（如大模型推理）请求，同时保证低延时，是一个极具挑战性的任务。长文本推理的挑战在于：推理时间长（Token生成速度慢），且显存消耗大（KV Cache占用）。纯粹的增加服务器并不能解决根本问题，我们需要一套...
解构 vLLM 的物理内存映射：当 Prompt 长度超过预设 Block 时，底层是如何动态借调空间的？
vLLM（Virtual Large Language Model）框架凭借其创新的内存管理技术 PagedAttention，极大地提升了LLM推理的吞吐量和效率。PagedAttention借鉴了传统操作系统中的虚拟内存和分页思想，核心...
为什么大模型推理的 Prefill 阶段是算力受限，而 Decode 阶段却是访存受限？
在大型语言模型（LLM）的推理过程中，通常分为两个关键阶段：Prefill（预填充/处理Prompt）阶段和Decode（解码/自回归生成）阶段。这两个阶段对硬件资源的需求截然不同，理解它们的瓶颈对于优化推理性能至关重要。 1. 概念定义：...
详解 ZeRO-Offload 机制：为什么把显存扔给内存和 SSD 却能跑通百亿参数模型？
为什么 VRAM 成为大模型训练的瓶颈？ 在训练参数量巨大的模型（如 Llama-2 70B）时，即使是顶级的GPU（如A100或H100）也面临着显存（VRAM）不足的问题。一个完整的模型训练状态需要存储以下核心组件： 模型参数 (P)：...
深入底层：如何通过计算与通信的 Overlap 掩盖 All-Reduce 产生的同步等待开销？
在同步分布式训练（如 PyTorch DDP）中，最主要的性能瓶颈之一是梯度同步操作 All-Reduce 导致的等待时间。当一台 GPU 完成反向传播并计算出所有梯度后，它必须等待所有其他 GPU 完成相同的操作，然后才能进行梯度聚合。利...
面试官：如果训练中途发生了一次比特翻转（Bit-flip），你的 Checkpoint 还能救回来吗？
在深度学习模型训练过程中，Checkpoint（检查点）是至关重要的，它记录了模型权重、优化器状态、学习率调度器状态等，用于断点续训。面试官提出的“比特翻转”问题，指的是硬件故障（如内存、磁盘或传输中的电磁干扰）导致数据中的单个或多个位发生...