标签：qat

2026-07-08andy阅读(44)

引言：为什么需要模型优化？ 在深度学习模型落地到生产环境的过程中，一个常见的困境是：模型在GPU服务器上跑得飞快、精度出色，但一旦需要部署到移动设备、边缘计算节点或者高并发API服务中，就会发现推理速度跟不上、内存占用过高。这个问题的本质在...

2026-02-11andy阅读(352)评论(0)

如何解决模型PTQ后在端侧精度断崖式下跌的问题：详解PTQ与QAT量化技术 随着AI模型部署到手机、IoT设备等端侧硬件的需求日益增加，模型量化（Quantization）成为了提升推理速度和减少内存占用的关键技术。然而，许多开发者发现，在...