标签：GPU优化

2026-07-24andy阅读(69)

在深度学习模型规模不断膨胀的今天，训练一个大型模型动辄需要数十甚至上百 GPU·天。当显存成为瓶颈、训练时间成为成本大头时，混合精度训练（Mixed Precision Training）就成了必须掌握的优化手段。它可以在几乎不损失模型精度...

2026-07-06andy阅读(121)

引言：大模型训练的内存困境 随着GPT-4、Llama 3、Qwen等大语言模型（LLM）的参数规模突破千亿甚至万亿级别，单张GPU的显存早已无法容纳完整的模型训练。以Llama 3 70B为例，仅模型权重（FP16）就需要约140GB显存...

2026-06-27andy阅读(126)

在过去的几年中，Transformer 架构已经成为深度学习领域最核心的基石，从 NLP 到 CV 再到多模态大模型，几乎无处不在。而注意力机制（Attention）作为 Transformer 的核心组件，其计算复杂度随序列长度呈二次增长...