汤不热吧
vLLM 显存不足怎么查？权重加载、KV Cache 与并发排障
按 vLLM 启动和请求日志区分权重加载 OOM、KV Cache 容量不足与高并发抢占，附 RTX 2080 Ti 单卡复现。
标签：vllm
停止生成后 GPU 还在跑？vLLM 请求取消链路与资源释放验证
从浏览器停止、应用任务取消到引擎 abort，追踪一个请求是否真正退出推理调度。
vLLM vs SGLang 单卡压测：L4 数据、TTFT、TPOT 与吞吐怎么比
解读 vLLM 与 SGLang 单卡 L4 公开实测，提供统一流式接口的压测命令，按 TTFT、TPOT、吞吐和成功率选择配置。
阿里云 GPU 云服务器部署 vLLM 实战：显存估算、实例选型与成本优化（2026）
阿里云GPU云服务器如何部署vLLM？本文从模型显存估算、GPU实例选型开始，给出驱动检查、vLLM安装、OpenAI兼容API上线、安全配置与成本优化完整步骤。
大模型推理框架选型决策指南：vLLM、SGLang、TensorRT-LLM、TGI 与 LMDeploy 五大框架场景适配与生产部署对比
在大模型落地部署的环节中，推理框架的选择直接决定了服务的吞吐量、延迟、显存利用率和运维复杂度。当前主流的推理框架包括 vLLM、SGLang、TensorRT-LLM、TGI（Text Generation Inference）以及近两年崛...
FlashDecoding 与 FlashInfer 深度解析：大模型推理 Decode 阶段 Attention 并行加速从原理到实战
在大模型推理的整个生命周期中，Decode 阶段往往是性能瓶颈所在。Prefill 阶段虽然计算量大，但可以通过大规模矩阵乘法充分利用 GPU 的并行能力；而 Decode 阶段逐 token 生成，每次只处理一个 query token ...
PagedAttention 深度解析：vLLM 如何用操作系统分页机制革命性管理 KV Cache 显存
在大模型推理的 Decode 阶段，每一个 token 的生成都需要访问之前所有 token 的 Key 和 Value 向量——这就是 KV Cache。一个 70B 参数的模型在 4K 上下文下，单请求的 KV Cache 就可能占用超...
vLLM 推理参数调优全攻略：从 gpu_memory_utilization 到 max_num_batched_tokens 的性能优化实战
在大模型推理部署中，vLLM 凭借 PagedAttention、Continuous Batching 等核心技术成为了最流行的推理框架之一。然而，很多开发者在部署 vLLM 时仅仅使用了默认参数，并没有深入理解每个启动参数对吞吐量、延迟...
汤不热吧技术社区上线AI辅助代码审查平台：基于Qwen2.5-Coder与Tree-sitter的增量式静态分析体系部署实录
随着汤不热吧技术社区代码库规模持续增长——目前已有超过120万行代码、日均提交量突破300次——传统的人工代码审查模式已无法满足质量保障需求。社区技术团队经过三个月的研发与测试，于本周正式上线AI辅助代码审查平台。该平台基于Qwen2.5-...
大模型推理中的 Prefix Caching 与 RadixAttention 深度解析：从 KV Cache 复用到请求调度的全链路优化
为什么 Prefix Caching 成为大模型推理的必备优化？ 在大模型推理服务的生产环境中，一个经常被忽视但影响巨大的现象是：大量请求共享相同的前缀。无论是系统提示词（System Prompt）、Few-shot 示例，还是多轮对话中...