汤不热吧
MCP协议深度解析：AI Agent工具调用的标准化革命
引言：当AI Agent遇见标准化协议 2025年底，Anthropic发布了Model Context Protocol（MCP）协议规范，这个看似简单的开放协议在短短半年内迅速成为AI Agent领域最炙手可热的基础设施标准。从Open...
标签：llm
第2页
Qdrant 向量数据库深度解析：从架构设计到生产部署的完整指南
为什么生产环境需要 Qdrant：向量数据库的架构设计哲学 随着大语言模型（LLM）和检索增强生成（RAG）技术的广泛落地，向量数据库已经成为现代 AI 基础设施中不可或缺的一环。在众多向量数据库产品中，Qdrant 凭借其独特的 Rust...
开源LLM与闭源LLM在安全部署上的工程化差异。
如何通过统一安全网关解决开源与闭源LLM部署中的工程化安全差异 在企业级 AI 基础设施建设中，模型部署面临着\”开源(Self-hosted)\”与\”闭源(SaaS API)\”并存的异构...
怎样利用Kubernetes Multi-Cluster技术实现LLM的全球化部署？
如何利用 Kubernetes 多集群技术实现大语言模型 (LLM) 的全球化部署 随着大语言模型（LLM）从实验室走向全球生产环境，如何处理跨地域的延迟、数据合规性以及高可用性成为了 AI 基础设施工程师面临的核心挑战。单集群 Kuber...
怎样在生产环境中实现对LLM的细粒度内容过滤？
如何在生产环境中构建高性能的 LLM 细粒度内容过滤系统 随着大语言模型（LLM）的广泛应用，确保模型输出的合规性和安全性已成为 AI 基础设施的关键环节。传统的关键词过滤由于缺乏语义理解，往往无法应对复杂的 Prompt 攻击或隐蔽的有害...
如何设计一个针对LLM应用的安全测试套件（Testing Suite）？
如何设计并实现一个针对LLM应用的自动化安全测试套件 随着大语言模型（LLM）在企业级应用中的普及，AI基础设施的安全性已成为核心考量因素。不同于传统的代码漏洞，LLM应用面临着提示词注入（Prompt Injection）、敏感信息泄露、...
怎样利用知识图谱进行LLM的合规性事实核查？
如何利用知识图谱实现大语言模型（LLM）的事实核查与生成合规性？ 大语言模型（LLM）在生成内容时常面临“幻觉”（Hallucination）问题，即生成看似合理但事实错误的信息。在金融、医疗及法律等对准确性要求极高的场景中，如何确保LLM...
如何为LLM应用设置责任链（Chain of Responsibility）机制？
如何为LLM应用设计并实现责任链（Chain of Responsibility）机制 在构建生成式AI应用时，开发者往往面临复杂的流水线需求：输入脱敏、缓存检索、提示词增强、模型路由、结果合规性检查等。如果将这些逻辑线性堆叠，代码将迅速演...
怎样为LLM生成结果集成不确定性（Uncertainty）指标？
如何在推理服务中为 LLM 生成结果集成不确定性度量？ 在生产环境中部署大语言模型（LLM）时，模型生成的“幻觉”（Hallucination）是影响业务落地的核心挑战。为了提升系统的可靠性，在 AI Infra 层面集成不确定性（Unce...
车载 LLM 的端云协同架构：如何通过动态判定逻辑决定指令在本地还是云端执行
如何实现车载LLM端云协同：动态判定逻辑的设计与实战 在智能座舱场景下，完全依赖云端大模型（LLM）会面临网络延迟高、断网失效、流量成本昂贵以及隐私泄露等问题；而完全依赖端侧（本地）推理，则受限于车机芯片（如高通8155/8295）的算力，...