如何识别并解决推理库中的“伪 FP16”性能陷阱

在移动端和边缘侧部署 AI 模型时，开发者通常会选择 FP16（半精度浮点数）来替代传统的 FP32（单精度浮点数）。直觉告诉我们，精度减半，速度应该翻倍，功耗也应该随之降低。然而，在实际开发中，你可能会遇到开启 FP16 后推理变慢，甚至手机发热更严重的情况。这通常是因为你落入了“伪 FP16”模式的圈套。

什么是“伪 FP16”模式？

真正的 FP16 加速（Native FP16）要求硬件（如 ARMv8.2-A 架构的 CPU、特定的 GPU 或 NPU）拥有原生的半精度算术运算单元。

“伪 FP16”模式则是一种兼容性方案。由于某些旧硬件不支持直接进行 FP16 运算，推理引擎（如早期版本的 NCNN, MNN, TFLite）会采取以下策略：
1. 存储时： 以 FP16 格式存储权重和特征图（节省空间）。
2. 运算前： 在内存加载数据后，先通过指令将其强制转换（Cast）为 FP32。
3. 运算时： 使用 FP32 的 ALU（算术逻辑单元）进行计算。
4. 运算后： 再将结果转换回 FP16 存回内存。

为什么“伪 FP16”反而更费电？

1. 额外的类型转换开销： 每一层计算的前后都增加了大量的 vcvt（类型转换）指令。这些指令不产生计算贡献，却消耗时钟周期。
2. SIMD 利用率减半： 在 128 位的向量寄存器中，可以同时处理 8 个 FP16 数据，但只能处理 4 个 FP32 数据。伪 FP16 依然按 4 个一组处理，没有发挥出吞吐量优势。
3. 频繁的转换引发发热： 类型转换指令在 CPU 内部依然是活跃的电信号操作，高频调用会导致核心持续处于高负载状态。

如何实操验证与解决？

以 MNN 推理引擎为例，我们可以通过配置 BackendConfig 来观察差异。

1. 检查硬件支持

在 Android 端，你可以通过读取 /proc/cpuinfo 查看是否包含 fphp 或 asimdhp 标志。

# 在 adb shell 中运行
cat /proc/cpuinfo | grep "Features" | uniq
# 如果看到 asimdhp 或 fphp，说明硬件支持原生 FP16 加速

2. 在代码中正确开启 FP16

如果你强行在不支持 FP16 的旧款 CPU 上开启 FP16，就会触发“伪模式”。以下是在 MNN 中设置精度模式的典型代码：

#include <MNN/Interpreter.hpp>
#include <MNN/MNNDefine.h>

void setupInference() {
    std::shared_ptr<MNN::Interpreter> net(MNN::Interpreter::createFromFile("model.mnn"));

    MNN::ScheduleConfig config;
    config.type = MNN_FORWARD_CPU; // 或者 MNN_FORWARD_GPU
    config.numThread = 4;

    MNN::BackendConfig backendConfig;
    // Precision_Low 通常对应 FP16
    // Precision_High 通常对应 FP32
    backendConfig.precision = MNN::BackendConfig::Precision_Low;
    config.backendConfig = &backendConfig;

    auto session = net->createSession(config);

    // 性能监控：建议在不同设备上对比 Precision_Low 与 Precision_High 的推理耗时
    // 如果 Low 反而比 High 慢，说明触发了伪 FP16 或硬件回退
}

避坑指南

1. GPU 优先原则： 在移动端，大部分移动 GPU（如 Adreno 6 系列、Mali G 系列）对 FP16 的支持远好于 CPU。如果 CPU 测速不理想，优先尝试 GPU 后端。
2. 对齐模型与后端： 确保转模型时使用的 –fp16 选项与推理引擎开启的 Low Precision 模式一致。
3. 强制检查： 在高性能计算场景下，如果检测到硬件不支持 asimdhp，建议手动回退到 FP32 模式，这样通常能获得比“伪 FP16”更稳定的帧率和更低的功耗。

总结

“伪 FP16”是推理框架为了兼容性做出的折中。作为开发者，我们需要明白：节省了内存带宽不代表节省了计算资源。 在不支持 FP16 指令集的设备上，坚持使用全精度（FP32）往往才是更环保、更高效的选择。