标签：uncertainty

2026-03-22andy阅读(3)评论(0)

如何在推理服务中为 LLM 生成结果集成不确定性度量？ 在生产环境中部署大语言模型（LLM）时，模型生成的“幻觉”（Hallucination）是影响业务落地的核心挑战。为了提升系统的可靠性，在 AI Infra 层面集成不确定性（Unce...