汤不热吧

2026-03-03andy阅读(3)评论(0)

如何利用 SHAP 解释性值构建生产环境的模型异常监控系统 在模型部署后的运维（MLOps）阶段，传统的准确率监控（Accuracy/F1-score）往往面临“标签延迟”的问题——你可能需要几天甚至几周才能获得真实标签。但在 AI 基础设...

2026-03-02andy阅读(5)评论(0)

背景 在移动端部署 AI 模型时，内存（RAM）通常是极其珍贵的资源。传统的模型加载方式往往需要将模型文件先从磁盘或 Assets 读取到内存缓冲区，再由推理引擎解析。这种方式导致了至少双倍的内存占用。 ncnn 提供的 from_andr...

2026-03-02andy阅读(4)评论(0)

如何为大模型推理服务定义 SLA 并使用 Prometheus + Grafana 实现精细化性能监控 在 AI 推理（Inference）领域，性能监控不再仅仅是简单的 CPU/内存占用。对于大语言模型（LLM）而言，SLA（服务等级协议...

2026-03-02andy阅读(7)评论(0)

背景 在许多低端安卓设备上，GPU 驱动对 Vulkan 的支持不完善甚至完全缺失，迫使我们必须回到 CPU (ARM NEON) 进行推理。为了追求速度，开发者通常会开启 ncnn 的 FP16 模式，但在执行深度模型或具有全局平均池化（...

2026-03-02andy阅读(6)评论(0)

如何通过反汇编 ncnn 的 gemm.cpp 快速上手 ARM NEON 汇编优化 在移动端推理框架 ncnn 中，卷积和矩阵乘法（GEMM）的性能核心在于 ARM NEON 汇编。对于初学者来说，直接从头编写汇编指令非常困难。本文将介绍...

2026-03-02andy阅读(9)评论(0)

在机器学习模型上线的生命周期中，最危险的环节莫过于将旧模型替换为新模型。即使在离线测试中表现优异，新模型也可能在真实的生产流量面前因数据偏移（Data Drift）或长尾请求而表现不佳。影子模型（Shadow Model）部署策略通过将生产...

2026-03-01andy阅读(11)评论(0)

如何利用 ncnn 的 opt.use_packing_layout 提升多通道卷积在 CPU 上的推理性能 在移动端和边缘侧 AI 部署中，ncnn 以其极致的性能优化著称。许多开发者在优化推理速度时，往往只关注了多线程配置（num_th...

2026-03-01andy阅读(11)评论(0)

如何通过 Evidently 监控生产环境中的概念漂移并实施自动化应对策略 在 AI 基础设施（AI Infra）的运维中，模型上线只是生命周期的开始。随着时间的推移，输入数据的分布或目标变量的定义可能会发生变化，即所谓的概念漂移（Conc...

2026-03-01andy阅读(13)评论(0)

如何通过 ncnn 算子融合黑魔法减少推理时的内存读写 在端侧推理优化中，算力往往不是唯一的瓶颈，内存带宽（Memory Bandwidth）才是。在 ncnn 推理框架中，虽然 ncnnoptimize 工具已经能自动处理大部分算子融合（...

2026-03-01andy阅读(13)评论(0)

如何通过 ncnn 的 Mat 结构理解端侧内存对齐：详解 32 字节对齐对 SIMD 加速的意义 在高性能端侧推理框架（如腾讯的 ncnn）中，性能优化往往精确到每一位内存布局。在阅读 ncnn 源码时，你会发现其核心数据结构 ncnn:...