如何理解 Android NNAPI 的算子分发逻辑：从底层架构到实战调用

Android NNAPI (Neural Networks API) 是 Android 系统中专门为机器学习推理设计的 C API。它不直接运行模型，而是作为“中介”，将深度学习框架（如 TensorFlow Lite）的算子分发到移动设备最合适的硬件加速器（CPU, GPU, DSP, NPU）上。

1. NNAPI 的核心架构

NNAPI 的设计核心在于算子分发机制。其架构由上至下分为：
– 应用层：开发者使用的 TFLite, MNN 等框架。
– NNAPI Runtime (libneuralnetworks.so)：系统的“指挥官”。负责解析计算图、验证算子合法性并寻找可用硬件驱动。
– HIDL/AIDL HAL (Hardware Abstraction Layer)：芯片厂商（高通、联发科等）提供的接口实现，负责接收 Runtime 下发的任务。
– 硬件驱动：将 NNAPI 算子指令转换为特定硬件（如 Hexagon DSP 或专用 NPU）可执行的微指令。

2. 算子分发逻辑：如何实现跨厂商适配？

当一个模型被加载时，NNAPI 经历以下关键步骤实现算子动态分发：
1. 设备发现：Runtime 通过 HAL 接口扫描系统中所有内置的加速器。
2. 算子支持度查询 (Supported Ops Query)：Runtime 将模型中的所有算子（如 Conv2D, Add, Softmax）发给每个已注册的驱动，询问其支持程度（Capability）。
3. 模型切分 (Graph Partitioning)：
– Runtime 会计算出一个“最优方案”。如果 NPU 支持卷积算子但不支持激活函数，NNAPI 会将卷积分发给 NPU，将激活函数回退到 CPU 执行。
– 这种逻辑允许同一份代码在不同厂商、不同架构的手机上都能获得最大化的硬件利用率。

3. 实战代码：在 Android 中通过 TFLite 调用 NNAPI

虽然 NNAPI 是 C API，但生产环境通常推荐通过 TensorFlow Lite 的 Delegate 机制间接调用，这比直接写 C API 更加简洁且具备健壮性。

#include "tensorflow/lite/delegates/nnapi/nnapi_delegate.h"
#include "tensorflow/lite/interpreter.h"

// 核心流程演示
void RunInferenceWithNNAPI() {
    // 1. 加载 TFLite 模型
    auto model = tflite::FlatBufferModel::BuildFromFile("model.tflite");

    // 2. 初始化 NNAPI Delegate 选项
    tflite::StatefulNnApiDelegate::Options options;
    // 偏好设置：kFastSingleAnswer 适用于低延迟，kPowerEfficient 适用于省电
    options.execution_preference = tflite::StatefulNnApiDelegate::Options::kFastSingleAnswer;
    // 允许使用 FP16 精度加速运算（即便原始模型是 FP32）
    options.allow_fp16 = true;

    // 3. 创建 Delegate 实例
    auto* nnapi_delegate = new tflite::StatefulNnApiDelegate(options);

    // 4. 将 Delegate 注入 TFLite 解释器
    tflite::ops::builtin::BuiltinOpResolver resolver;
    tflite::InterpreterBuilder builder(*model, resolver);
    std::unique_ptr<tflite::Interpreter> interpreter;
    builder(&interpreter);

    // 关键步骤：修改计算图，使能 NNAPI
    if (interpreter->ModifyGraphWithDelegate(nnapi_delegate) != kTfLiteOk) {
        // 如果 NNAPI 分发失败，会自动回退到 TFLite 默认的 CPU 解释器执行
        printf("NNAPI acceleration failed, fallback to CPU.
");
    }

    // 5. 执行推理
    interpreter->AllocateTensors();
    interpreter->Invoke();
}

4. 调试与性能监控

如果你想观察算子到底被分发到了哪个硬件上，可以通过 ADB 开启日志追踪：
adb shell setprop debug.nn.vlog all

在 Logcat 中搜索 CompilationBuilder 或 ExecutionBuilder，你将看到详细的算子映射日志。这对于优化复杂的端侧 AI 应用（如实时人脸识别或画质增强）至关重要。