深度学习

2026-03-05andy阅读(502)评论(0)

1. 为什么 INT8 是端侧推理的王道？ 在移动端部署 AI 模型时，INT8 量化几乎是必选项。它能将模型体积缩小 4 倍，且在拥有硬件加速的芯片上，推理速度可提升数倍。而这种「质变」的底层核心，正是 ARMv8.2-A 引入的 Dot...

2026-03-05andy阅读(391)评论(0)

背景 在深度学习模型从训练框架（如 PyTorch、TensorFlow）导出到推理引擎的过程中，模型往往会携带大量仅在训练阶段有意义的节点。其中最典型的是 Dropout（防止过拟合，推理时丢弃率为 0）和 Identity（恒等映射，通...

2026-03-04andy阅读(346)评论(0)

如何通过 MNN 的 WeightGrad 机制在移动端实现极致高效的本地权重在线微调 在端侧 AI 场景中，为了保护用户隐私或实现个性化推荐，我们需要在移动端设备上直接对模型进行微调（Fine-tuning）。阿里巴巴开源的 MNN (M...

2026-03-04andy阅读(557)评论(0)

引言 在端侧推理中，为了追求极致性能，我们往往会开启 GPU (OpenCL/Vulkan) 或 NPU (NNAPI/CoreML) 加速。然而，MNN 在处理某些算子不支持的情况下，会自动回退到 CPU。这种“异构调度”如果配置不当，会...

2026-03-03andy阅读(433)评论(0)

如何利用 MNN 缓存机制缩短首帧推理延迟：解决预热过程中的卡顿问题 在移动端部署 AI 模型时，开发者常遇到“首帧卡顿”现象。这主要是因为 MNN 在首次推理时需要进行图优化、内存布局分配，尤其是使用 GPU (OpenCL/Vulkan...

2026-03-03andy阅读(398)评论(0)

背景 在端侧推理引擎（如 MNN, NCNN, TFLite）的开发中，算子（Op）的实现往往占据了大部分工作量。传统的做法是为每个算子编写特定的 Kernel，但在面对动态 Shape（如 NLP 任务中长度不一的句子）或复杂的维度变换（...

2026-03-02andy阅读(406)评论(0)

背景 在移动端部署 AI 模型时，内存（RAM）通常是极其珍贵的资源。传统的模型加载方式往往需要将模型文件先从磁盘或 Assets 读取到内存缓冲区，再由推理引擎解析。这种方式导致了至少双倍的内存占用。 ncnn 提供的 from_andr...

2026-03-02andy阅读(393)评论(0)

背景 在许多低端安卓设备上，GPU 驱动对 Vulkan 的支持不完善甚至完全缺失，迫使我们必须回到 CPU (ARM NEON) 进行推理。为了追求速度，开发者通常会开启 ncnn 的 FP16 模式，但在执行深度模型或具有全局平均池化（...

2026-03-02andy阅读(359)评论(0)

如何通过反汇编 ncnn 的 gemm.cpp 快速上手 ARM NEON 汇编优化 在移动端推理框架 ncnn 中，卷积和矩阵乘法（GEMM）的性能核心在于 ARM NEON 汇编。对于初学者来说，直接从头编写汇编指令非常困难。本文将介绍...

2026-03-01andy阅读(411)评论(0)

如何利用 ncnn 的 opt.use_packing_layout 提升多通道卷积在 CPU 上的推理性能 在移动端和边缘侧 AI 部署中，ncnn 以其极致的性能优化著称。许多开发者在优化推理速度时，往往只关注了多线程配置（num_th...