标签：算子

2026-03-22andy阅读(234)评论(0)

前言 在智能座舱领域，DMS（驾驶员监控系统）和多手势识别是两个核心算法。由于车载芯片的算力资源通常较为受限，如果将两个模型独立运行，会带来巨大的IO开销和计算冗余。本文将介绍如何通过多任务学习（Multi-task Learning）与算...

2026-03-18andy阅读(260)评论(0)

如何通过算子融合减少解量化开销：详解在移动端将 Dequant 与 MatMul 合并的技巧 在移动端部署深度学习模型时，为了追求极致的推理速度和更小的模型体积，INT8 量化几乎是标配。然而，很多开发者在实际部署时发现，虽然权重变成了 I...

2026-03-17andy阅读(277)评论(0)

前言 在安卓端侧部署大语言模型（LLM）时，内存带宽往往是最大的瓶颈。4-bit 量化（INT4）可以将权重体积减少 75%，但如果我们在推理前先用 CPU 或 GPU 算子将其还原为 FP16，会产生额外的显存读写开销。 本文将教你如何编...

2026-03-13andy阅读(244)评论(0)

在 Android 移动端部署 AI 模型时，开发者常会发现：虽然 GPU 推理速度很快，但首次加载模型（或 App 重启后首次推理）时往往会出现明显的卡顿，耗时甚至达到 3-10 秒。这主要是由于 GPU 后端（如 OpenCL、Vulk...

2026-03-12andy阅读(264)评论(0)

1. 为什么我们需要矢量化？ 在 Android 端侧推理（如 NCNN、MNN、TFLite）中，算子性能是核心。传统的标量计算（Scalar）一次只能处理一个数据，而 SIMD（Single Instruction Multiple D...

2026-03-11andy阅读(349)评论(0)

如何解决 Android 异构计算中的 Fallback 难题：当 NPU 算子不支持时如何平滑回退到 CPU 背景与痛点 在 Android 端侧 AI 开发中，利用 NPU（如高通 Hexagon、联发科 APU）能显著降低推理延时和功...

2026-03-09andy阅读(265)评论(0)

如何理解 Android NNAPI 的算子分发逻辑：从底层架构到实战调用 Android NNAPI (Neural Networks API) 是 Android 系统中专门为机器学习推理设计的 C API。它不直接运行模型，而是作为“...

2026-03-08andy阅读(210)评论(0)

如何在 OP-TEE 内部实现卷积算子：解决浮点运算缺失的定点化替代方案 在安全领域，将深度学习模型部署到 OP-TEE (Open Portable Trusted Execution Environment) 是保护隐私数据的常见需求。...

2026-03-06andy阅读(288)评论(0)

背景 在深度学习模型部署过程中，我们经常会遇到由于推理框架（如 MNN、NCNN、TNN）更新较慢，导致某些新出的激活函数（如 Swish、HardSwish）或者自定义算子不被支持的情况。这时，开发者通常面临两个选择：一是修改模型结构，用...

2026-03-03andy阅读(294)评论(0)

背景 在端侧推理引擎（如 MNN, NCNN, TFLite）的开发中，算子（Op）的实现往往占据了大部分工作量。传统的做法是为每个算子编写特定的 Kernel，但在面对动态 Shape（如 NLP 任务中长度不一的句子）或复杂的维度变换（...