标签：LLM推理优化

2026-08-01andy阅读(69)

什么是投机解码：从思想实验到工程实践 大语言模型（LLM）的推理瓶颈在哪里？如果你回答”计算量”，那只对了一半。在实际部署中，真正制约吞吐量的往往是内存带宽而非算力——每次生成一个 token，模型都需要将全部权重从...

2026-07-27andy阅读(89)

随着大语言模型（LLM）参数规模从数十亿膨胀到数千亿，推理延迟（Latency）和吞吐（Throughput）逐渐成为生产环境最棘手的瓶颈。传统自回归解码（Autoregressive Decoding）每生成一个 token 就要完整前向...