汤不热吧在深度学习模型优化，尤其是移动端（如高通Adreno NPU、华为Ascend NPU等）部署时，我们通常认为1×1卷积（点卷积）由于其极少的浮点运算量（FLOPs）理应比3×3卷积快得多。然而，在实际的NPU性能测试中，有时会观察到相反的现象：3×3卷积执行速度反而更快。
这个问题并非是计算出错，而是涉及到移动端加速器（NPU）特有的性能瓶颈：算术强度（Arithmetic Intensity）与内存墙（Memory Wall）。
1. 核心原因：内存带宽限制（Bandwidth Bottleneck）
NPU设计的目标是最大化并行计算，但计算速度的提升必须依赖数据供给。如果数据从片外内存（DRAM）传输到片上缓存（SRAM）的速度跟不上计算单元的处理速度，那么加速器就会频繁处于等待数据状态，造成低效。
1.1 1×1 卷积：带宽受限
1×1卷积虽然FLOPs少，但其计算/内存访问比率很低。对于一个给定的输入特征图，1×1卷积的计算过程是：读取输入数据、读取权重、计算、写入输出数据。每读取一次输入数据，只进行一次计算（或少量计算）。
当特征图的通道数（C_in, C_out）非常大时，1×1卷积需要大量的内存传输，极容易耗尽片外内存带宽，成为内存带宽限制型（Bandwidth-bound）操作。
1.2 3×3 卷积：算术强度高
3×3卷积的FLOPs是1×1卷积的9倍。关键在于数据重用。在计算输出特征图的一个像素时，3×3卷积核需要读取输入特征图上 9 个相邻的数据点。这些数据点在计算相邻输出像素时可以被重复使用。
这种高密度的数据重用极大地提升了操作的算术强度（Arithmetic Intensity = FLOPs / Memory Bytes）。高算术强度意味着NPU可以在片上缓存（SRAM）中高效地完成大量计算，减少对慢速片外内存（DRAM）的依赖。因此，3×3卷积更容易成为计算限制型（Compute-bound）操作，从而能够充分利用NPU的高并行计算能力。
当网络模型的特征图尺寸较大，且通道数适中时，3×3卷积通常能达到更高的NPU利用率。
2. 算术强度示例计算
我们以一个简化的例子来对比1×1和3×3卷积的理论算术强度。假设数据为FP16 (2 bytes/element)，特征图尺寸 H=W=64，输入输出通道 $C_{in}=C_{out}=128$。
卷积核 (K)：1×1 vs 3×3
我们主要关注计算量（FLOPs）和内存访问量（Memory）。
| 属性 | 1×1 卷积 (K=1) | 3×3 卷积 (K=3) |
|---|---|---|
| 相对计算量 ($K^2$) | $1$ | $9$ |
| 输入数据读取 | $H \times W \times C_{in}$ | $H \times W \times C_{in}$ |
| 权重数据读取 | $K^2 \times C_{in} \times C_{out}$ | $K^2 \times C_{in} \times C_{out}$ |
| 相对算术强度 | 低 | 高 |
Python 模拟算术强度对比
# 假设参数
H = 64 # 高度
W = 64 # 宽度
C_in = 128 # 输入通道
C_out = 128 # 输出通道
Bytes_per_element = 2 # FP16
def calculate_intensity(K):
# 1. 计算量 (FLOPs)
# FLOPs = 2 * H * W * C_in * C_out * K * K
flops = 2 * H * W * C_in * C_out * (K * K)
# 2. 内存访问量 (Bytes) - 简化计算：输入 + 输出 + 权重
Input_Bytes = H * W * C_in * Bytes_per_element
Output_Bytes = H * W * C_out * Bytes_per_element
Weight_Bytes = K * K * C_in * C_out * Bytes_per_element
Total_Memory_Bytes = Input_Bytes + Output_Bytes + Weight_Bytes
# 3. 算术强度 (FLOPs / Memory Bytes)
intensity = flops / Total_Memory_Bytes
return flops, Total_Memory_Bytes, intensity
# 1x1 卷积
flops_1x1, mem_1x1, intensity_1x1 = calculate_intensity(1)
print(f"1x1 卷积 | FLOPs: {flops_1x1:.2e} | Mem Bytes: {mem_1x1:.2e} | A/I: {intensity_1x1:.2f}")
# 3x3 卷积
flops_3x3, mem_3x3, intensity_3x3 = calculate_intensity(3)
print(f"3x3 卷积 | FLOPs: {flops_3x3:.2e} | Mem Bytes: {mem_3x3:.2e} | A/I: {intensity_3x3:.2f}")
输出结果（近似）：
1x1 卷积 | FLOPs: 2.10e+08 | Mem Bytes: 1.05e+06 | A/I: 200.00
3x3 卷积 | FLOPs: 1.89e+09 | Mem Bytes: 1.25e+06 | A/I: 1508.57
可以看到，3×3卷积的算术强度（A/I）远高于1×1卷积。在存在内存墙的NPU环境下，更高的A/I往往意味着更高的实际计算效率。
3. 实际优化与操作建议
- NPU Tiling/Kernel Size匹配： 许多NPU为3×3卷积设计了专用的硬件加速和内存访问模式（例如 Winograd 算法的变体）。如果1×1卷积的实现没有充分利用NPU的内部并行结构或数据平铺（tiling）策略，其效率可能不如高度优化的3×3 kernel。
- 通道数是关键： 如果 $C_{in}$ 和 $C_{out}$ 都非常小（如 $C_{in}=16, C_{out}=16$），那么1×1卷积依然会更快，因为此时即使是3×3卷积，其计算量也太小，无法掩盖固有的调度和启动开销。
- 使用Profiler分析： 解决这种问题的唯一方法是使用NPU提供的性能分析工具（如TensorFlow Lite Profiler、或各厂商的NPU SDK工具）来精确测量每一个算子的执行时间、FLOPs利用率和内存访问情况，以确定瓶颈到底是在计算还是内存传输。