标签：AI基础设施

2026-07-19andy阅读(130)

从单体到分体：为什么大模型推理正在走向 Prefill/Decode 分离部署？ 2024 年下半年以来，大模型推理架构迎来了一个新的趋势——PD 分离部署（Prefill/Decode Disaggregation）。简单来说，就是将传统...

2026-07-12andy阅读(52)

为什么大模型生产环境需要专业的GPU监控？ 在AI基础设施（AI Infra）的日常运维中，GPU监控与可观测性往往是最容易被忽视的一环。很多团队在部署大模型推理服务时，只关注模型的推理延迟和吞吐量，却忽略了GPU本身的健康状态、功耗曲线、...