端侧量化误差溯源详解：为什么在 ncnn 里运行正常的 INT8 模型在 MNN 里会精度崩坏

背景

在端侧 AI 部署中，INT8 量化是性能优化的必经之路。但开发者常遇到这样的怪事：同一套浮点权重，在 ncnn 下量化后精度尚可，但在 MNN 下却出现预测结果完全不可用的“崩坏”现象。这并非框架本身的 Bug，而是由量化标准实现、零点（Zero Point）处理以及溢出控制等细节差异导致的。

深度溯源：核心差异点

1. 对称与非对称量化的默认选择

• ncnn：默认倾向于使用对称量化（Symmetric Quantization），其量化范围通常是 [-127, 127]，不使用 Zero Point。
• MNN：其 MNNConvert 和 MNNQuant 工具默认可能采用非对称量化或更广的 [-128, 127] 范围，且对零点的处理逻辑在不同版本间存在细微差别。

2. 饱和截断与溢出策略

ncnn 在处理卷积后的累加值（Accumulator）时，通常会有更保守的饱和截断（Saturation）逻辑。而 MNN 为了追求 ARM 架构上的极致性能，有时在特定指令集优化下，若 Scale 计算不当，极易导致 INT32 累加器溢出，从而产生结果突变。

实操：如何定位精度差距

第一步：导出逐层 Tensor 进行对比

不要只看最后的结果。我们需要对比每一层输出的 Cosine Similarity（余弦相似度）。

# 伪代码：使用 MNN Python 接口提取中间层数据
import MNN
interpreter = MNN.Interpreter("model.mnn")
session = interpreter.createSession()
input_tensor = interpreter.getSessionInput(session)
# 设置输入...
interpreter.runSession(session)

# 获取特定层的输出进行对比
target_tensor = interpreter.getSessionOutput(session, "conv1_output")
output_data = target_tensor.getData()
print(output_data)

第二步：统一量化方案

如果 ncnn 效果好，建议在 MNN 量化配置中强制指定对称量化。修改 MNN 的 config.json：

{
    "format": "TFLITE", 
    "precision": "low",
    "backend": "CPU",
    "fullQuant": true,
    "feature_quantize_method": "ADMM",
    "weight_quantize_method": "MAX_ABS" 
}

注意：MAX_ABS 通常对应对称量化，能与 ncnn 的逻辑更好地匹配。

第三步：对齐预处理逻辑

ncnn 的 from_pixels_resize 常包含减均值和乘比例的操作，确保在 MNN 中使用 ImageProcess 时，参数完全一致。一个微小的 0.5 偏移在 INT8 下会被放大。

解决步骤清单

1. 校验输入分布：确保输入 MNN 的图像归一化逻辑与 ncnn 完全一致（检查 RGB/BGR 顺序）。
2. 强制对称量化：在 MNN 量化工具中关闭非对称量化选项（设置 weight_quantize_method 为 MAX_ABS）。
3. 重新校准（Calibration）：ncnn 习惯使用 ncnn2table 生成校准表，MNN 则需要更多的校准图片（建议 100-500 张），确保 kl_divergence 算法能找到正确的 Scale。
4. 检查溢出：如果模型层数极深，尝试降低量化精度，或者对溢出严重的层保留 FP16 运行（即混合精度量化）。

总结

ncnn 运行正常而 MNN 崩坏，90% 的原因是 Scale 映射范围不一致 或 非对称量化的零点偏移 导致的。通过强制对称量化并严格对齐输入数据流，可以解决绝大多数精度对齐问题。