汤不热吧
FlashDecoding 与 FlashInfer 深度解析：大模型推理 Decode 阶段 Attention 并行加速从原理到实战
在大模型推理的整个生命周期中，Decode 阶段往往是性能瓶颈所在。Prefill 阶段虽然计算量大，但可以通过大规模矩阵乘法充分利用 GPU 的并行能力；而 Decode 阶段逐 token 生成，每次只处理一个 query token ...
ai-infra
第2页
摩尔线程 MUSA CUDA 迁移实战：Musify、PyTorch 适配与国产GPU部署
CUDA项目如何迁移到摩尔线程MUSA？本文覆盖Musify工具链、PyTorch适配、自定义算子编译、国产GPU推理部署与性能验证。
大模型推理中的流水线并行（Pipeline Parallelism）深度解析：从 PP 切分原理到 vLLM 多卡流水线部署与气泡优化实战
当大模型参数量突破单卡显存上限时，工程师首先想到的是张量并行（Tensor Parallelism, TP）——把每一层的权重切分到多张卡上，所有卡同时计算同一层的不同部分。但 TP 有一个致命瓶颈：每层都需要 All-Reduce 通信，...
海光 DCU CUDA 迁移实战：ROCm/DTK 环境配置、代码适配与常见报错
CUDA项目如何迁移到海光DCU？完整讲解ROCm/DTK环境配置、代码与算子适配、容器部署、性能验证及常见错误排查。
PagedAttention 深度解析：vLLM 如何用操作系统分页机制革命性管理 KV Cache 显存
在大模型推理的 Decode 阶段，每一个 token 的生成都需要访问之前所有 token 的 Key 和 Value 向量——这就是 KV Cache。一个 70B 参数的模型在 4K 上下文下，单请求的 KV Cache 就可能占用超...
SGLang 推理框架部署实战全攻略：从安装配置到高性能服务上线的完整指南
SGLang 是由 LMSYS 团队（ChatBot Arena 的创建者）开源的大语言模型推理框架，凭借 RadixAttention 前缀复用技术和结构化生成能力，在多轮对话、Agent 工作流和 JSON 结构化输出场景中展现出显著优...
TensorRT-LLM 部署实战全攻略：从模型转换到高性能推理服务的完整搭建指南
在众多大模型推理框架中，NVIDIA 的 TensorRT-LLM 凭借对 GPU 硬件的深度优化，一直是吞吐量和延迟性能的天花板级选手。然而，它陡峭的学习曲线和复杂的模型转换流程让不少工程师望而却步——你需要理解 checkpoint 转...
vLLM 推理参数调优全攻略：从 gpu_memory_utilization 到 max_num_batched_tokens 的性能优化实战
在大模型推理部署中，vLLM 凭借 PagedAttention、Continuous Batching 等核心技术成为了最流行的推理框架之一。然而，很多开发者在部署 vLLM 时仅仅使用了默认参数，并没有深入理解每个启动参数对吞吐量、延迟...
四大推理框架性能基准测试实战：vLLM、SGLang、TensorRT-LLM 与 TGI 在 Llama 3 上的吞吐量、延迟与显存对比
大模型推理框架的选型是每一个 AI Infra 工程师绕不开的话题。当前主流的开源推理框架——vLLM、SGLang、TensorRT-LLM 和 HuggingFace TGI——各有特色，但到底哪个更适合你的业务场景？本文将通过真实的基...
张量并行（Tensor Parallelism）推理部署实战：从 Megatron-LM 切分原理到 vLLM 多卡配置与性能调优
当大语言模型的参数量从 7B 一路攀升到 70B 甚至 405B 时，单张 GPU 的显存早已无法容纳完整模型。以 Llama-3-70B 为例，仅 FP16 权重就需要约 140GB 显存，远超单张 A100-80G 的容量上限。此时，将...