MNN 异构调度避坑指南:详解 CPU、GPU、NPU 在处理不同层时的优先级自动分配逻辑
引言 在端侧推理中,为了追求极致性能,我们往往会开启 GPU (OpenCL/Vulkan) 或 NPU (NNAPI/CoreML) 加速。然而,MNN 在处理某些算子不支持的情况下,会自动回退到 CPU。这种“异构调度”如果配置不当,会...
引言 在端侧推理中,为了追求极致性能,我们往往会开启 GPU (OpenCL/Vulkan) 或 NPU (NNAPI/CoreML) 加速。然而,MNN 在处理某些算子不支持的情况下,会自动回退到 CPU。这种“异构调度”如果配置不当,会...