标签：peft

2026-07-12andy阅读(2)

引言：为什么需要 LoRA？ 大语言模型（LLM）的参数量动辄数十亿甚至数千亿，传统全参数微调（Full Fine-Tuning）需要为每个下游任务保存一份完整的模型副本。以 LLaMA-65B 为例，全参数微调仅单份 checkpoint...

2026-03-21andy阅读(247)评论(0)

如何利用QLoRA在消费级GPU上实现大模型的高效微调 在生成式AI蓬勃发展的今天，大语言模型（LLM）的参数量已从百亿迈向千亿规模。对于个人开发者和中小型初创公司而言，动辄数百GB的显存需求成为了微调大模型的巨大障碍。QLoRA（Quan...