标签：model

2026-03-12andy阅读(15)评论(0)

引言 在企业内部，随着业务对大语言模型（LLM）需求的激增，碎片化的模型部署会导致资源浪费和运维混乱。构建 LLM MaaS（Model-as-a-Service）平台的核心在于提供统一的接入层、完善的权限控制以及自动化的模型调度。本文将展...

2026-02-26andy阅读(60)评论(0)

如何构建高性能模型注册表：基于 MLflow 的元数据管理实践 在 AI 基础设施中，模型注册表（Model Registry）不仅是一个存储桶，它是管理模型生命周期、版本控制以及元数据的核心中枢。一个高性能的模型注册表能够支持快速的元数据...

2026-02-06andy阅读(91)评论(0)

在构建灵活的深度学习模型时，我们经常需要创建自定义 Layer（层）或 Model（模型）。然而，这些自定义组件内部的权重（例如，全连接层中的 W 矩阵）往往依赖于输入数据的特征维度。如果我们在 Layer 的 __init__ 方法中就尝...

2026-02-03andy阅读(81)评论(0)

BatchNorm (批量归一化) 是深度学习模型中提高训练效率和稳定性的关键组件。然而，它也常常是导致训练和推理行为不一致的“陷阱”之一。 大多数PyTorch用户都知道，在推理时需要调用 model.eval()。但为什么这一操作在某些...

2026-01-25andy阅读(109)评论(0)

在AI基础设施（AI Infra）的实践中，部署来自第三方供应商的模型和服务是一项日益普遍但风险重重的任务。这些“黑箱”模型可能隐藏着供应链攻击、未授权的训练数据使用，或是不符合性能要求的问题。制定合规要求不仅仅是法律部门的职责，更是AI基...

2026-01-23andy阅读(113)评论(0)

在AI模型部署进入生产环境时，模型的透明度、可解释性以及合规性变得越来越重要。Model Card（模型卡）作为一种标准化的文档，提供了关于模型性能、预期用途、限制、训练数据和伦理考量等关键信息，是实现负责任AI（Responsible A...

2026-01-13andy阅读(154)评论(0)

引言：模型窃取与防御的必要性 数据提取攻击（Data Extraction Attacks），也称为模型窃取（Model Stealing），是指恶意用户通过查询公开的机器学习API，收集输入-输出对，并利用这些数据训练一个功能相似的“代理...

2026-01-02andy阅读(245)评论(0)

在AI模型部署中，尤其是大型语言模型（LLM）的应用场景下，输入安全（如提示注入Prompt Injection、恶意代码注入）是一个核心挑战。传统的单模型部署方式，要么需要将昂贵的大模型用于安全过滤（资源浪费），要么采用简单的硬编码规则（...

2025-12-21andy阅读(224)评论(0)

在现代机器学习系统中，成功的模型部署依赖于四大支柱：数据（Data）、模型/算法（Model/Algorithm）、计算资源（Compute） 和 评估/反馈（Evaluation/Feedback）。在模型从训练环境迁移到生产环境（Com...

2025-11-23andy阅读(269)评论(0)

在AI模型进入生产环境的过程中，版本混乱、元数据丢失和部署流程不规范是常见的挑战。MLflow Model Registry提供了一个集中的存储库，用于管理MLflow Tracking中记录的模型，使其从实验阶段平滑过渡到部署阶段。本文将...