标签：模型部署

2026-08-19andy阅读(183)

引言：LLM 推理服务的吞吐量困局 当我们将一个大语言模型部署到生产环境时，最核心的挑战往往不是模型本身的精度，而是如何高效地利用 GPU 算力服务海量并发请求。一个 7B 参数的模型在单张 A100 上串行推理，每个请求可能需要数百毫秒到...

2026-08-01andy阅读(202)

Google Cloud Vertex AI 是 Google Cloud 统一的机器学习平台，整合了此前分散的 AI Platform、AutoML、BigQuery ML 等服务，为数据科学家和 ML 工程师提供了一站式的模型训练、部署...

2026-07-17andy阅读(424)

SGLang 和 vLLM 怎么选？从 PagedAttention、RadixAttention、调度、吞吐、显存、结构化输出和生产成熟度进行系统对比。

2026-07-13andy阅读(260)

引言：从模型到生产服务的最后一公里 在深度学习项目的完整生命周期中，训练出高精度的模型只是第一步。真正具有挑战性的环节，是如何将训练好的模型部署为稳定、可扩展的在线推理服务。TensorFlow Serving（以下简称TF Serving...