标签：模型部署

2026-08-01andy阅读(14)

Google Cloud Vertex AI 是 Google Cloud 统一的机器学习平台，整合了此前分散的 AI Platform、AutoML、BigQuery ML 等服务，为数据科学家和 ML 工程师提供了一站式的模型训练、部署...

2026-07-17andy阅读(82)

引言：推理引擎之争的底层逻辑 随着大语言模型（LLM）在各行各业的落地加速，模型推理效率已成为制约规模化部署的核心瓶颈。在众多开源推理框架中，vLLM 和 SGLang 是最受关注的两个项目。vLLM 由 UC Berkeley 的 Sky...

2026-07-13andy阅读(77)

引言：从模型到生产服务的最后一公里 在深度学习项目的完整生命周期中，训练出高精度的模型只是第一步。真正具有挑战性的环节，是如何将训练好的模型部署为稳定、可扩展的在线推理服务。TensorFlow Serving（以下简称TF Serving...