深度学习

2026-03-12andy阅读(33)评论(0)

如何解决安卓 OpenCL GPU 推理比 CPU 慢的“负优化”问题？ 在端侧 AI 开发中，很多开发者习惯性地认为“GPU 肯定比 CPU 快”。但在安卓平台上，当你兴冲冲地把 NCNN、MNN 或 TNN 切换到 OpenCL 后端时...

2026-03-11andy阅读(43)评论(0)

如何解决 Android 异构计算中的 Fallback 难题：当 NPU 算子不支持时如何平滑回退到 CPU 背景与痛点 在 Android 端侧 AI 开发中，利用 NPU（如高通 Hexagon、联发科 APU）能显著降低推理延时和功...

2026-03-11andy阅读(38)评论(0)

引言 在移动端 AI 部署中，为了追求极致的能效比，通常会将计算任务从 CPU/GPU 卸载到专用的 DSP（数字信号处理器）上。高通 Hexagon DSP 凭借其 HVX（Hexagon Vector Extensions）指令集，能够...

2026-03-11andy阅读(33)评论(0)

如何通过 Vulkan 接口压榨移动端 GPU 算力：详解计算管线与内存屏障的极致优化 在移动端 AI 推理框架（如 NCNN、MNN）中，Vulkan 已经成为跨平台 GPU 加速的事实标准。相比传统的 OpenGL ES，Vulkan ...

2026-03-11andy阅读(35)评论(0)

前言 在安卓端侧推理（如使用 MNN、NCNN 或 TFLite）时，经常会遇到框架不支持某些特殊算子（如特定的激活函数、自定义的特征融合层）的情况。此时，如果回退到 CPU 执行会造成严重的性能瓶颈。本文将介绍如何编写一个 OpenGL ...

2026-03-10andy阅读(31)评论(0)

背景 在 Android 端侧 AI 推理场景中，模型输入往往来自于相机预览流或图像处理器。传统的做法是将数据从 Vendor 进程拷贝到 App 进程，再拷贝给推理引擎。对于 4K 图像或高频推理任务，这种 memcpy 会显著增加延迟并...

2026-03-10andy阅读(34)评论(0)

如何优化 Android 端 AI 模块启动：详解动态库的延迟加载策略 在 Android 端集成 NCNN、MNN 或 TensorFlow Lite 等 AI 框架时，开发者常面临一个难题：这些框架生成的 .so 动态链接库通常很大（往...

2026-03-10andy阅读(31)评论(0)

如何利用 RenderScript 实现 Android 高性能图像预处理 在移动端 AI 推理（如使用 TensorFlow Lite 或 MNN）的过程中，图像预处理（缩放、归一化、色域转换）往往会成为整体耗时的瓶颈。虽然 Google...

2026-03-10andy阅读(32)评论(0)

为什么选择 FP16？ 在移动端 AI 推理中，内存带宽和功耗通常是最大的性能瓶颈。相比传统的 FP32（单精度浮点），FP16（半精度浮点）不仅能减少 50% 的模型内存占用和带宽需求，还能在支持 ARMv8.2-A 指令集的 CPU 上...

2026-03-09andy阅读(41)评论(0)

如何通过 CPU 亲和性绑定控制推理线程：解决安卓系统大小核切换导致的性能波动 在移动端部署 AI 模型（如人脸识别、实时滤镜）时，开发者常遇到一个棘手现象：同一模型在同一台手机上，有时推理仅需 20ms，有时却突然跳到 100ms。这种性...