怎样在企业内部实现LLM MaaS（Model-as-a-Service）的交付？

引言

在企业内部，随着业务对大语言模型（LLM）需求的激增，碎片化的模型部署会导致资源浪费和运维混乱。构建 LLM MaaS（Model-as-a-Service）平台的核心在于提供统一的接入层、完善的权限控制以及自动化的模型调度。本文将展示如何基于 vLLM 和 FastAPI 快速搭建一个生产可用的 MaaS 原型。

1. 核心架构设计

典型的企业 MaaS 架构分为三层：
1. 接入层（Gateway）：负责鉴权、限流、请求分发及日志审计。
2. 编排层（Orchestration）：动态管理模型实例，实现负载均衡。
3. 计算层（Inference Engine）：使用 vLLM 或 TGI 等引擎执行高效推理。

2. 实战：部署高并发推理后端

首先，我们需要使用 vLLM 部署一个符合 OpenAI 接口标准的后端。vLLM 采用 PagedAttention 技术，能显著提升吞吐量。

# 启动 Llama-3 8B 实例
python -m vllm.entrypoints.openai.api_server \\
    --model /models/llama-3-8b \\
    --port 8000 \\
    --gpu-memory-utilization 0.9\\
    --served-model-name llama3-8b-enterprise

3. 实现统一模型网关

为了实现 MaaS，我们需要一个网关来屏蔽后端差异，并提供统一的 Token 校验。以下是使用 Python 实现的精简网关代码示例，它展示了如何实现简单的模型路由。

from fastapi import FastAPI, Request, HTTPException
import httpx
import os

app = FastAPI()

# 模拟企业内部模型路由表
MODEL_ROUTING = {
    "gpt-3.5-replacement": "http://llama-service:8000/v1",
    "analysis-model": "http://qwen-service:8001/v1"
}

@app.post("/v1/chat/completions")
async def proxy_request(request: Request):
    body = await request.json()
    model_key = body.get("model")

    if model_key not in MODEL_ROUTING:
        raise HTTPException(status_code=404, detail="Requested model not found in MaaS registry")

    # 获取实际后端地址
    target_url = f"{MODEL_ROUTING[model_key]}/chat/completions"

    async with httpx.AsyncClient() as client:
        # 此处可以添加统一的鉴权逻辑和日志审计
        response = await client.post(
            target_url,
            json=body,
            headers={"Authorization": f"Bearer {os.getenv('INTERNAL_SECRET')}"},
            timeout=120.0
        )
    return response.json()

4. 关键技术点：动态资源调度与监控

在生产环境中，MaaS 需要能够根据 QPS 自动扩缩容。建议通过 Kubernetes 的 HPA（Horizontal Pod Autoscaler）结合 Prometheus 指标（如 vLLM 暴露的 vllm:avg_generation_throughput）进行调度。此外，应实现 Tenant-level 的配额管理，防止单业务部门占用过多显存资源。

5. 总结

实现企业级 MaaS 不仅仅是启动一个 API，更涉及模型全生命周期的治理。通过统一网关隔离业务与底层架构，可以极大降低企业的算法集成成本，并实现 GPU 资源的最大化利用。