如何解决 Android 异构计算中的 Fallback 难题：当 NPU 算子不支持时如何平滑回退到 CPU

背景与痛点

在 Android 端侧 AI 开发中，利用 NPU（如高通 Hexagon、联发科 APU）能显著降低推理延时和功耗。但现实情况是：NPU 的算子支持度（Op Coverage）通常远低于 CPU。如果模型中包含一个 NPU 不支持的算子，且未配置合理的回退（Fallback）策略，应用可能会面临推理报错、初始化失败甚至崩溃。

本文将以 TensorFlow Lite (TFLite) 为例，教你如何通过配置 NNAPI 委托，实现 NPU 到 CPU 的自动“算子级回退”和“初始化级回退”。

核心原理：部分委托（Partial Delegation）

TFLite 的 Delegate 机制支持将计算图拆分。如果模型中有 10 个算子，其中 8 个 NPU 支持，2 个不支持，TFLite 会自动将这 8 个算子交给 NPU 处理，剩下的 2 个算子交由内置的 CPU 内核执行。这个过程对用户几乎是透明的，但需要正确的代码配置来触发。

实战操作

1. 引入必要依赖

在 build.gradle 中确保引入了 TFLite 及其 NNAPI 支持：

implementation 'org.tensorflow:tensorflow-lite:2.14.0'
implementation 'org.tensorflow:tensorflow-lite-support:0.4.4'

2. 编写具备鲁棒性的初始化逻辑

我们需要处理两种回退：
1. 算子级回退：框架自动处理。
2. 初始化级回退：当硬件驱动版本过低或设备不具备 NPU 时，手动捕获异常并切换到 CPU。

import org.tensorflow.lite.Interpreter
import org.tensorflow.lite.nnapi.NnApiDelegate
import java.io.File
import java.nio.MappedByteBuffer

class SmartInferenceEngine(modelPath: String, context: android.content.Context) {
    private var interpreter: Interpreter? = null
    private var nnApiDelegate: NnApiDelegate? = null

    init {
        val modelBuffer = loadModelFile(context, modelPath)

        // 1. 尝试使用 NNAPI (NPU/DSP 加速)
        try {
            val nnApiOptions = NnApiDelegate.Options().apply {
                // 允许降级到 FP16 以提升兼容性和性能
                setAllowFp16(true)
                // 显式指定执行偏好：低功耗或高性能
                setExecutionPreference(NnApiDelegate.Options.EXECUTION_PREFERENCE_SUSTAINED_SPEED)
                // 关键点：如果某些算子不支持，NNAPI 会自动尝试回退到 CPU
            }

            nnApiDelegate = NnApiDelegate(nnApiOptions)
            val options = Interpreter.Options().apply {
                addDelegate(nnApiDelegate)
                // 即使 Delegate 报错，也尝试让框架自行处理剩余部分
            }
            interpreter = Interpreter(modelBuffer, options)

        } catch (e: Exception) {
            // 2. 初始化回退：如果 NNAPI 加载失败（如驱动不匹配），手动降级到纯 CPU 模式
            val cpuOptions = Interpreter.Options().apply {
                setNumThreads(Runtime.getRuntime().availableProcessors())
            }
            interpreter = Interpreter(modelBuffer, cpuOptions)
        }
    }

    private fun loadModelFile(context: android.content.Context, path: String): MappedByteBuffer {
        // 实现模型文件加载逻辑...
    }

    fun runInference(input: Any, output: Any) {
        interpreter?.run(input, output)
    }

    fun close() {
        interpreter?.close()
        nnApiDelegate?.close()
    }
}

进阶调优建议

1. 黑名单机制：如果你发现某些算子在特定设备的 NPU 上运行结果不准（如精度溢出），可以通过 setAcceleratorName 手动绑定更稳定的加速器，或通过 TFLite 的 DelegateFactory 动态剔除该设备。
2. 性能监控：在生产环境，建议记录 Interpreter.run() 的耗时。如果开启了 NPU 但耗时反而增加，说明频繁的 CPU-NPU 数据交换（IO 拷贝）抵消了加速增益，此时应强制回退到 CPU。
3. MNN/NCNN 同理：国产推理框架如 MNN 也支持 MNN_FORWARD_AUTO，其逻辑是先尝试硬件后端，失败后回退。建议优先选择带有 “Auto” 标识的配置项。

总结

解决 Fallback 难题的核心在于“分层处理”：底层靠框架的 Partial Delegation 处理算子不支持的情况，应用层靠 Try-Catch 确保在极端驱动错误下仍能通过 CPU 兜底。这套方案能极大增强 AI 应用在碎片化 Android 设备上的稳定性。