标签：压缩

2026-03-19andy阅读(39)评论(0)

在端侧AI部署中，不同厂商的SoC（如高通骁龙的DSP、华为昇腾的NPU、联发科的APU）对不同算子位宽的加速效率截然不同。传统的统一INT8量化往往无法榨干硬件性能。本文将介绍如何利用硬件感知量化搜索（Hardware-Aware Qua...

2026-03-16andy阅读(73)评论(0)

如何通过 INT4 KV Cache 量化大幅提升移动端 LLM 的多轮对话上限 在大模型（LLM）落地移动端的过程中，内存占用是最大的瓶颈。除了模型权重（Weights）外，KV Cache 的增长直接决定了多轮对话的上下文长度上限。本文...

2026-03-15andy阅读(58)评论(0)

如何利用剪枝与量化协同优化：实现大模型参数量与存储空间的双重压缩实战 在部署大语言模型（LLM）或大型深度学习模型时，巨大的存储占用和内存消耗往往是核心瓶颈。单一的优化技术（如仅剪枝或仅量化）有时难以满足端侧设备极低的算力要求。本文将介绍一...

2026-02-27andy阅读(102)评论(0)

如何利用知识蒸馏（Knowledge Distillation）将大模型高效压缩并优化边缘侧部署 在生成式AI与大规模预训练模型（LLM）爆发的时代，模型参数量动辄百亿级，这为生产环境的部署带来了巨大挑战，尤其是资源受限的边缘计算场景。知识...

2026-02-09andy阅读(103)评论(0)

如何通过 tf.lite.Optimize 实现权重量化：让你的模型在移动端实现 4 倍压缩 1. 为什么需要权重量化？ 在将深度学习模型部署到资源受限的移动设备（如手机、IoT设备）时，模型的体积和推理速度是关键瓶颈。标准的深度学习模型（...

2026-02-07andy阅读(117)评论(0)

如何理解 JVM 中的指针压缩技术：为什么堆内存超过 32G 会性能下降 在高性能 Java 应用的部署中，配置 JVM 堆内存大小（Heap Size）是一个核心环节。开发者常常会听到一个经验法则：如果使用 64 位 JVM，最好不要让堆...

2025-12-13andy阅读(327)评论(0)

在AI模型部署中，保证模型对恶意输入的鲁棒性是基础设施层面的关键挑战。对抗性攻击（Adversarial Attacks）利用微小的、人眼难以察觉的扰动来使模型做出错误判断。输入转换（Input Transformation）是一种高效的防...