标签：lora

2026-11-07andy阅读(31)评论(0)

Colab 断线后如何恢复 LoRA？下载完整 Notebook，将 checkpoint 保存到 Drive，校验权重与训练状态，恢复 optimizer、scheduler 和训练步数。

2026-09-03andy阅读(217)

在大模型落地应用的过程中，一个愈发普遍的需求是：同一个基座模型（如 LLaMA-3-70B），需要同时服务数千个不同的下游任务。每个任务有自己的微调权重——客服对话、代码补全、文档摘要、多语言翻译……如果为每个任务都部署一个独立模型副本，显...

2026-07-12andy阅读(367)

引言：为什么需要 LoRA？ 大语言模型（LLM）的参数量动辄数十亿甚至数千亿，传统全参数微调（Full Fine-Tuning）需要为每个下游任务保存一份完整的模型副本。以 LLaMA-65B 为例，全参数微调仅单份 checkpoint...

2026-01-07andy阅读(583)评论(0)

引言：LoRA微调中的数据安全挑战 参数高效微调（PEFT），尤其是低秩适配（LoRA），已成为部署大型语言模型（LLM）的主流技术。LoRA通过训练少量新增的适配器（Adapter）权重，在保持基础模型（Base Model）权重不变的前...