标签：gptq

2026-07-19andy阅读(70)

随着大语言模型（LLM）在生产环境中的广泛部署，推理效率已成为制约应用落地的核心瓶颈。2026年的今天，从DeepSeek V4到Claude Sonnet 4，模型参数规模持续增长，但硬件算力的提升速度远跟不上模型规模的增长速度。如何在有...

2026-07-06andy阅读(65)

引言：为什么模型量化成为大模型落地的关键瓶颈 2024年以来，大语言模型（LLM）的参数规模竞赛已经进入一个微妙阶段——模型能力在持续提升，但部署成本成为了横亘在大多数企业与开发者面前的现实障碍。以Llama 3.1 70B为例，其FP16...

2026-07-05andy阅读(325)评论(0)

如何利用 GPTQ 与 AWQ 算法实现 LLM 4-bit 量化：原理剖析与端侧适配指南 大语言模型（LLM）如 Llama 3、Qwen 等动辄数十亿的参数量，让移动端和边缘侧部署面临巨大的显存挑战。4-bit 量化技术通过将模型权重从...

2026-02-06andy阅读(310)评论(0)

在将大型语言模型（LLM）部署到资源受限的端侧设备（如手机、边缘计算网关）时，模型量化是提高推理速度和降低内存占用的关键技术。4-bit 量化（如 GPTQ 和 AWQ）因其极高的压缩比而受到广泛关注。然而，这两种流行算法在底层实现和硬件亲...