汤不热吧【今日观点】 大模型应用的可观测性工程：构建LLM系统的监控、追踪与告警体系
当大语言模型从实验项目走向生产系统，它就不再只是一个”调用API拿到文本”的简单组件，而是一个涉及提示词管理、上下文编排、多轮对话状态、工具调用链路、向量检索质量和成本控制的复杂分布式子系统。传统应用的监控手段——C...
最新发布 第70页
模型量化教程
零成本学AI：GitHub最火模型量化实战教程，省钱又高效 作为一名正在自学AI的技术博主，我发现很多小伙伴在尝试本地部署大模型时，都会卡在“显存不足”这一步。今天，我要向大家强烈推荐一个彻底解决这个问题的免费开源资源——Quantizat...
怎样利用混沌工程来测试AI Infra的故障容错能力？
引言 在现代 AI 基础设施中，随着模型参数量的剧增和分布式部署的普及，底层硬件（如 GPU、RDMA 网络）的稳定性变得至关重要。然而，驱动崩溃、ECC 内存错误或网络抖动在生产环境中屡见不鲜。混沌工程（Chaos Engineering...
如何将大模型的分层微调（如Adapter）集成到CI/CD流程？
如何将大模型 Adapter 微调无缝集成至 CI/CD 流水线？ 在生成式 AI (AIGC) 时代，大语言模型 (LLM) 的全量微调成本极高且迭代缓慢。通过 Adapter（如 LoRA、Prefix Tuning）进行参数高效微调 ...
怎样在MLOps中集成模型可解释性的持续监控和告警？
如何解决生产环境黑盒风险：在 MLOps 中集成模型可解释性的持续监控与告警 在 AI 基础设施的运维中，仅仅监控模型的准确率（Accuracy）和延迟（Latency）是远远不够的。当发生特征漂移（Feature Drift）时，模型可能...
ollama使用教程
为什么选择 Ollama？ 在 AI 浪潮中，很多顶级大模型都依赖云端 API，这不仅产生费用，还有隐私泄露的风险。Ollama 是一款极其出色的开源工具，它让在本地（macOS、Windows、Linux）运行大型语言模型（LLM）变得像...
如何利用AI编译器TVM实现异构硬件上的模型部署？
如何利用 TVM 编译器实现异构硬件上的模型部署与性能调优 在 AI 基础设施领域，将训练好的模型高效部署到多样化的硬件（如 CPU、GPU、DSP、NPU）是核心挑战。Apache TVM 作为一个开源的端到端深度学习编译器，通过其多层 ...
怎样用Istio为AI微服务设置安全策略和流量限制？
背景 在生产环境下部署 AI 模型（如大语言模型或图像识别服务）时，AI 基础设施面临两个核心挑战：首先是安全性，推理接口往往涉及敏感数据和核心资产，必须确保通信加密和身份校验；其次是可用性，由于 GPU 资源昂贵且推理过程耗时较长，突发流...
如何设计和实现AI平台的用户认证和授权机制（RBAC）？
如何构建高性能AI平台的RBAC权限管理系统 在AI基础设施（AI Infra）的设计中，权限管理（Authorization）不仅关乎数据安全，更直接影响到昂贵的计算资源（如GPU）的分配效率。本文将深入探讨如何为AI平台设计一套基于角色...
怎样利用Kubernetes Multi-Cluster技术实现LLM的全球化部署？
如何利用 Kubernetes 多集群技术实现大语言模型 (LLM) 的全球化部署 随着大语言模型（LLM）从实验室走向全球生产环境，如何处理跨地域的延迟、数据合规性以及高可用性成为了 AI 基础设施工程师面临的核心挑战。单集群 Kuber...
大模型原理教程
零基础也能懂！全网最火 Datawhale 大模型原理与开发免费教程推荐 作为一名在 AI 领域自学的博主，我深知寻找高质量、系统化且免费的学习资源有多难。今天，我要为大家安利一个大模型学习者的“耶路撒冷”——Datawhale 开源的《动...