汤不热吧背景
在许多低端安卓设备上，GPU 驱动对 Vulkan 的支持不完善甚至完全缺失，迫使我们必须回到 CPU (ARM NEON) 进行推理。为了追求速度，开发者通常会开启 ncnn 的 FP16 模式，但在执行深度模型或具有全局平均池化（GAP）的结构时，FP16 的表示范围窄（仅 65536 个数值）和尾数精度低的问题会导致严重的精度丢失，表现为推理结果乱码或识别率大幅下降。
核心优化点：指令逻辑重排
在 CPU 推理中，精度损失主要来源于大批量 FP16 数据的直接累加导致的截断误差。解决该问题的核心在于：在寄存器级别进行指令逻辑重排，即“存储用 FP16，计算累加用 FP32”。
1. 调整 ncnn 推理选项
ncnn 提供了精细的开关来控制 FP16 的行为。在不支持 Vulkan 的低端机上，最简单且有效的方案是禁用 FP16 算术运算，但保留 FP16 存储。
// 逻辑：数据以 FP16 存放节省内存带宽，但计算时提升到 FP32 以保持精度
ncnn::Option opt;
opt.use_fp16_packed = true; // 开启 FP16 内存打包
opt.use_fp16_storage = true; // 开启 FP16 存储
opt.use_fp16_arithmetic = false; // 关键：关闭 FP16 硬件指令运算，改用 FP32 累加
ncnn::Net net;
net.opt = opt;
net.load_param(\"model.param\");
net.load_model(\"model.bin\");
2. 手动指令重排优化（针对自定义算子）
如果你在使用 Custom Layer，可以通过 NEON 内部函数（Intrinsics）对加法顺序进行重排。避免连续的 vadd_f16，而是采用“分块累加”并在中间过程强制转 FP32。
#include <arm_neon.h>
// 优化前的逻辑：直接累加 FP16 向量（精度差）
// float16x8_t sum = vld1q_f16(ptr); ... sum = vaddq_f16(sum, next);
// 优化后的指令重排逻辑：
float32x4_t sum_low = vdupq_n_f32(0.0f);
float32x4_t sum_high = vdupq_n_f32(0.0f);
for (int i = 0; i < count; i += 8) {
float16x8_t data = vld1q_f16(ptr + i);
// 指令重排：将 8 个 FP16 拆分为两组 FP32 进行累加
// vcvt_f32_f16 是关键，它确保了中间累加值不会因为 FP16 范围不足而溢出
sum_low = vaddq_f32(sum_low, vcvt_f32_f16(vget_low_f16(data)));
sum_high = vaddq_f32(sum_high, vcvt_f32_f16(vget_high_f16(data)));
}
// 最后将 FP32 结果合并
float32_t final_sum = vaddvq_f32(vaddq_f32(sum_low, sum_high));
效果对比
通过将 use_fp16_arithmetic 设为 false 并结合指令级的 FP32 累加，在低端 ARMv8 架构（如 MT6739）上：
– 精度：Top-1 准确率恢复至 FP32 的 99% 以上。
– 速度：由于减少了 FP16 硬件指令的溢出处理，且现代 CPU 的 FP32 向量运算极快，性能损耗通常低于 10%，远优于全 FP32 模式。
总结
在缺乏 GPU 加速的旧设备上，不要盲目追求全 FP16 计算。通过 ncnn 的 Option 设置进行逻辑重排，实现混合精度推理（Storage: FP16, Compute: FP32），是解决端侧精度崩坏的最佳实践。