标签：模型

2026-02-26andy阅读(111)评论(0)

如何构建高性能模型注册表：基于 MLflow 的元数据管理实践 在 AI 基础设施中，模型注册表（Model Registry）不仅是一个存储桶，它是管理模型生命周期、版本控制以及元数据的核心中枢。一个高性能的模型注册表能够支持快速的元数据...

2026-02-25andy阅读(125)评论(0)

如何利用 MUSA 运行时的显存超发机制解决大模型推理中的显存不足问题 在国产 GPU 适配的过程中，显存不足（OOM, Out of Memory）是运行大规模语言模型（LLM）时最常见的痛点。摩尔线程（Moore Threads）的 M...

2026-02-25andy阅读(111)评论(0)

如何构建高效的CI/CD/CT自动化流水线：实现AI模型的持续训练与自动部署 在传统的软件开发中，CI/CD（持续集成/持续部署）已经成为了行业标准。然而，在AI/ML领域，由于数据分布会随时间发生偏移（Data Drift），仅仅依靠软件...

2026-02-24andy阅读(100)评论(0)

如何利用 Ascend C 手写高性能算子：解决昇腾模型不支持算子的终极方案 在将深度学习模型部署到昇腾（Ascend）昇腾 AI 处理器时，经常会遇到某些算子在 CANN 算子库中不存在或者性能不达标的情况。这时，使用 Ascend C（...

2026-02-24andy阅读(108)评论(0)

如何利用 Kubeflow Pipelines 与 Optuna 构建自动化模型迭代的 AutoML 管道？ 在现代 MLOps 体系中，持续训练（Continuous Training, CT）是核心环节。然而，大多数流水线仅能实现“固定...

2026-02-22andy阅读(117)评论(0)

如何通过 A/B 测试评估移动端模型性能：除了延时外，你还需要关注哪些工程指标 在将深度学习模型（如基于 ncnn、mnn 或 TFLite 优化的模型）推向千万量级的移动端用户时，实验室内的 Benchmark 结果往往是“理想化”的。由...

2026-02-22andy阅读(91)评论(0)

怎么解决深度学习模型在不同手机芯片上的推理结果不一致问题 在将AI模型部署到移动端（如安卓或iOS）时，开发者经常发现同样的模型在不同手机上的输出结果存在微小差异。这种现象在跨芯片平台（如从高通骁龙迁移到联发科天玑）或跨推理后端（如从CPU...

2026-02-22andy阅读(117)评论(0)

背景 随着《个人信息保护法》等法规的完善，开发者在处理用户数据（如人脸、语音、健康数据）时面临巨大的合规压力。传统的云端训练需要将原始数据上传服务器，这存在严重隐私风险。端侧训练（On-device Learning）技术通过在用户手机本地...

2026-02-17andy阅读(123)评论(0)

在处理大规模深度学习部署时，经常遇到这样的问题：一块拥有 80GB 显存的高端 GPU（如 NVIDIA A100/H100）运行着许多只需要 5GB 或 10GB 显存的小模型。传统的 GPU 调度机制要么独占整块 GPU，造成资源浪费，...

2026-02-17andy阅读(112)评论(0)

对于追求极致性能的端侧 AI 应用来说，找到模型推理的性能瓶颈是加速优化的第一步。我们通常结合使用静态分析工具 (Netron) 和动态分析工具 (系统 Profiler) 来实现这一目标。 Netron 帮助我们理解模型的结构和计算流，而...