人工智能和大数据

2026-03-04andy阅读(1)评论(0)

如何构建安全可靠的边缘模型OTA更新系统 在边缘计算场景中，模型部署并非一劳永逸。随着数据的演进，模型需要频繁迭代。然而，边缘设备通常面临网络带宽波动、电力供应不稳以及物理安全威胁。如何利用OTA（Over-The-Air）技术安全、可靠地...

2026-03-03andy阅读(4)评论(0)

如何利用 MNN 缓存机制缩短首帧推理延迟：解决预热过程中的卡顿问题 在移动端部署 AI 模型时，开发者常遇到“首帧卡顿”现象。这主要是因为 MNN 在首次推理时需要进行图优化、内存布局分配，尤其是使用 GPU (OpenCL/Vulkan...

2026-03-03andy阅读(5)评论(0)

核心背景 在 AI 基础设施（AI Infra）的生产实践中，模型更新的风险极高。由于离线评估与在线数据的偏移（Skew），新版模型上线后可能出现延迟激增或预测精度大幅下降。为了保障业务连续性，我们需要构建一套基于模型注册中心与指标驱动发布...

2026-03-03andy阅读(6)评论(0)

1. 背景：移动端异构架构的挑战 在移动端 SoC 中，常见的 ARM 架构通常采用 Big.LITTLE（大小核）设计。当运行 AI 模型推理时，如果系统将计算任务随机分配给小核，或者在大小核之间频繁切换，会导致推理耗时出现显著的“长尾效...

2026-03-03andy阅读(5)评论(0)

背景 在端侧推理引擎（如 MNN, NCNN, TFLite）的开发中，算子（Op）的实现往往占据了大部分工作量。传统的做法是为每个算子编写特定的 Kernel，但在面对动态 Shape（如 NLP 任务中长度不一的句子）或复杂的维度变换（...

2026-03-03andy阅读(11)评论(0)

如何利用 SHAP 解释性值构建生产环境的模型异常监控系统 在模型部署后的运维（MLOps）阶段，传统的准确率监控（Accuracy/F1-score）往往面临“标签延迟”的问题——你可能需要几天甚至几周才能获得真实标签。但在 AI 基础设...

2026-03-02andy阅读(9)评论(0)

背景 在移动端部署 AI 模型时，内存（RAM）通常是极其珍贵的资源。传统的模型加载方式往往需要将模型文件先从磁盘或 Assets 读取到内存缓冲区，再由推理引擎解析。这种方式导致了至少双倍的内存占用。 ncnn 提供的 from_andr...

2026-03-02andy阅读(12)评论(0)

如何为大模型推理服务定义 SLA 并使用 Prometheus + Grafana 实现精细化性能监控 在 AI 推理（Inference）领域，性能监控不再仅仅是简单的 CPU/内存占用。对于大语言模型（LLM）而言，SLA（服务等级协议...

2026-03-02andy阅读(14)评论(0)

背景 在许多低端安卓设备上，GPU 驱动对 Vulkan 的支持不完善甚至完全缺失，迫使我们必须回到 CPU (ARM NEON) 进行推理。为了追求速度，开发者通常会开启 ncnn 的 FP16 模式，但在执行深度模型或具有全局平均池化（...

2026-03-02andy阅读(9)评论(0)

如何通过反汇编 ncnn 的 gemm.cpp 快速上手 ARM NEON 汇编优化 在移动端推理框架 ncnn 中，卷积和矩阵乘法（GEMM）的性能核心在于 ARM NEON 汇编。对于初学者来说，直接从头编写汇编指令非常困难。本文将介绍...