标签：gguf

2026-07-06andy阅读(11)

引言：为什么模型量化成为大模型落地的关键瓶颈 2024年以来，大语言模型（LLM）的参数规模竞赛已经进入一个微妙阶段——模型能力在持续提升，但部署成本成为了横亘在大多数企业与开发者面前的现实障碍。以Llama 3.1 70B为例，其FP16...

2026-03-18andy阅读(524)评论(0)

前言 随着大语言模型（LLM）的普及，将模型部署在手机端（端侧推理）成为了趋势。llama.cpp 作为一个高性能的 C++ 推理库，通过极致的指令集优化和轻量级的 GGUF 格式，让在手机上流畅运行 Llama-3 成为可能。本文将重点介...