标签：AI基础设施

2026-09-26andy阅读(146)

在大模型推理和AI应用开发中，GPU算力成本一直是开发者面临的最大门槛之一。无论是跑Stable Diffusion生成图片，还是部署Llama 3进行文本推理，一块A100显卡的月租费用动辄数百美元。对于个人开发者和初创团队来说，Serv...

2026-07-26andy阅读(728)

系统讲解大模型 PD 分离部署：Prefill 与 Decode 的资源差异、KV Cache 传输、调度策略、网络要求，以及 vLLM 和 SGLang 的选型方法。

2026-07-12andy阅读(341)

为什么大模型生产环境需要专业的GPU监控？ 在AI基础设施（AI Infra）的日常运维中，GPU监控与可观测性往往是最容易被忽视的一环。很多团队在部署大模型推理服务时，只关注模型的推理延迟和吞吐量，却忽略了GPU本身的健康状态、功耗曲线、...