标签：量化

2026-03-22andy阅读(39)评论(0)

如何利用单卡 4-bit 量化技术在车载芯片上跑通 7B 规模的座舱智能管家模型 在智能座舱场景中，7B（70亿参数）规模的大模型已成为实现自然语音交互、行程规划和情感化管家的主流选择。然而，传统的 FP16 精度模型需要占用约 15GB ...

2026-03-19andy阅读(38)评论(0)

在端侧AI部署中，不同厂商的SoC（如高通骁龙的DSP、华为昇腾的NPU、联发科的APU）对不同算子位宽的加速效率截然不同。传统的统一INT8量化往往无法榨干硬件性能。本文将介绍如何利用硬件感知量化搜索（Hardware-Aware Qua...

2026-03-18andy阅读(96)评论(0)

如何利用信令位（Signaling Bits）优化低比特量化：提升移动端模型数值稳定性 在移动端部署 AI 模型时，INT4 甚至 INT2 量化是减少内存带宽和提升推理速度的利器。然而，低比特量化面临最大的挑战是数值稳定性。当权重或激活值...

2026-03-18andy阅读(58)评论(0)

如何通过算子融合减少解量化开销：详解在移动端将 Dequant 与 MatMul 合并的技巧 在移动端部署深度学习模型时，为了追求极致的推理速度和更小的模型体积，INT8 量化几乎是标配。然而，很多开发者在实际部署时发现，虽然权重变成了 I...

2026-03-18andy阅读(63)评论(0)

如何利用 Apple AMX 指令集实现 4-bit 量化 LLM 的端侧加速 随着端侧大语言模型（LLM）的普及，如何在 iPhone 或 Mac 上实现毫秒级的响应速度成为了开发者面临的巨大挑战。Apple 的 A 系列及 M 系列芯片...

2026-03-17andy阅读(54)评论(0)

前言 在安卓端侧部署大语言模型（LLM）时，内存带宽往往是最大的瓶颈。4-bit 量化（INT4）可以将权重体积减少 75%，但如果我们在推理前先用 CPU 或 GPU 算子将其还原为 FP16，会产生额外的显存读写开销。 本文将教你如何编...

2026-03-17andy阅读(65)评论(0)

如何利用分级加载与量化存储实现端侧 LLM 的极致省电与低内存占用 在大模型（LLM）进军手机、平板和边缘网关的趋势下，内存（RAM）和功耗成了最大的绊脚石。一个 Llama-3-8B 模型如果以 FP16 运行需要约 16GB 内存，这足...

2026-03-17andy阅读(74)评论(0)

如何优化大模型首词延迟：详解预填充阶段的量化加速技巧 在大语言模型（LLM）的部署实践中，首词延迟（Time to First Token, TTFT）是影响用户交互体验的核心指标。当用户输入较长的 Prompt 时，模型需要经历一个漫长的...

2026-03-16andy阅读(58)评论(0)

如何通过 PagedAttention 与分块量化结合：解决移动端内存碎片化导致的长文本 OOM 在移动端部署大语言模型（LLM）时，内存压力主要源于 KV Cache。随着对话长度增加，KV Cache 呈线性增长，且传统的连续内存分配方...

2026-03-16andy阅读(69)评论(0)

如何通过 INT4 KV Cache 量化大幅提升移动端 LLM 的多轮对话上限 在大模型（LLM）落地移动端的过程中，内存占用是最大的瓶颈。除了模型权重（Weights）外，KV Cache 的增长直接决定了多轮对话的上下文长度上限。本文...