怎样通过硬件感知的量化搜索(NAS+Quant):针对不同 SoC 自动寻找最优的压缩方案
在端侧AI部署中,不同厂商的SoC(如高通骁龙的DSP、华为昇腾的NPU、联发科的APU)对不同算子位宽的加速效率截然不同。传统的统一INT8量化往往无法榨干硬件性能。本文将介绍如何利用硬件感知量化搜索(Hardware-Aware Qua...
在端侧AI部署中,不同厂商的SoC(如高通骁龙的DSP、华为昇腾的NPU、联发科的APU)对不同算子位宽的加速效率截然不同。传统的统一INT8量化往往无法榨干硬件性能。本文将介绍如何利用硬件感知量化搜索(Hardware-Aware Qua...