标签：显存优化

2026-07-07andy阅读(32)

为什么需要量化KV Cache？ 在大语言模型（LLM）的推理过程中，KV Cache（Key-Value Cache）是一个绕不开的核心组件。当模型以自回归方式逐Token生成文本时，对于Decoder-only架构的Transforme...

2026-06-20andy阅读(53)

在深度学习模型训练中，batch size 的选择直接影响模型的收敛速度和最终精度。研究表明，较大的 batch size 能让梯度估计更加稳定，有助于模型跳出局部最优，同时充分利用 GPU 的并行计算能力。然而，受限于显存容量，很多开发者...