标签：量化

2026-03-18andy阅读(300)评论(0)

如何通过算子融合减少解量化开销：详解在移动端将 Dequant 与 MatMul 合并的技巧 在移动端部署深度学习模型时，为了追求极致的推理速度和更小的模型体积，INT8 量化几乎是标配。然而，很多开发者在实际部署时发现，虽然权重变成了 I...

2026-03-17andy阅读(308)评论(0)

前言 在安卓端侧部署大语言模型（LLM）时，内存带宽往往是最大的瓶颈。4-bit 量化（INT4）可以将权重体积减少 75%，但如果我们在推理前先用 CPU 或 GPU 算子将其还原为 FP16，会产生额外的显存读写开销。 本文将教你如何编...

2026-03-17andy阅读(336)评论(0)

如何利用分级加载与量化存储实现端侧 LLM 的极致省电与低内存占用 在大模型（LLM）进军手机、平板和边缘网关的趋势下，内存（RAM）和功耗成了最大的绊脚石。一个 Llama-3-8B 模型如果以 FP16 运行需要约 16GB 内存，这足...

2026-03-16andy阅读(336)评论(0)

如何通过 PagedAttention 与分块量化结合：解决移动端内存碎片化导致的长文本 OOM 在移动端部署大语言模型（LLM）时，内存压力主要源于 KV Cache。随着对话长度增加，KV Cache 呈线性增长，且传统的连续内存分配方...

2026-03-16andy阅读(377)评论(0)

如何通过 INT4 KV Cache 量化大幅提升移动端 LLM 的多轮对话上限 在大模型（LLM）落地移动端的过程中，内存占用是最大的瓶颈。除了模型权重（Weights）外，KV Cache 的增长直接决定了多轮对话的上下文长度上限。本文...

2026-03-16andy阅读(297)评论(0)

1. 为什么端侧模型需要 OmniQuant？ 在端侧（手机、嵌入式设备）部署大语言模型（LLM）或大型视觉模型时，量化（Quantization）是必不可少的。然而，传统的后量化（PTQ）方法（如简单的 Round-to-Nearest）...

2026-03-15andy阅读(297)评论(0)

如何利用剪枝与量化协同优化：实现大模型参数量与存储空间的双重压缩实战 在部署大语言模型（LLM）或大型深度学习模型时，巨大的存储占用和内存消耗往往是核心瓶颈。单一的优化技术（如仅剪枝或仅量化）有时难以满足端侧设备极低的算力要求。本文将介绍一...

2026-03-14andy阅读(341)评论(0)

1. 为什么 LLM 全量化这么难？ 在端侧部署大语言模型（LLM）时，W8A8（权重和激活均为8位）全量化是极致加速和节省内存的核心。然而，LLM 在推理时，激活值（Activations）中常会出现极少数数值巨大的“离群点”（Outli...

2026-03-09andy阅读(281)评论(0)

如何通过自动化指标监控系统精准量化 MLOps 的实施效益 在企业推进 AI 产业化的过程中，“MLOps 到底带来了多少价值”往往是管理层关注的核心问题。单纯的技术感悟不足以支撑预算申请，我们需要一套量化的评估体系。本文将借鉴 DevOp...

2026-02-26andy阅读(354)评论(0)

1. 背景：为什么相同的量化模型在不同芯片上精度不同？ 在国产化适配过程中，开发者常遇到一个困惑：在 PyTorch 下验证良好的 INT8 量化模型，部署到昇腾（Ascend）、寒武纪（Cambricon）或昆仑芯（KunlunCore）...