Colab 没分到 GPU 时,可以把已经保存的 LoRA 训练状态搬到 Kaggle。能接到哪一步,取决于你最后一次完整保存的 checkpoint。先从 Google Drive 下载整个运行目录,再把它作为私有 Dataset 添加到 Kaggle Notebook。

下载 Kaggle LoRA 续训 Notebook。本文以本站Colab 续训 Notebook为例,基础模型、数据和训练参数沿用原配置。
先从 Drive 下载哪些文件?
在 Drive 里打开 MyDrive/tbr8-lora/qwen25-05b-lora-resume-v1。下载 run_config.json 和最后一个校验通过的 checkpoint-* 目录。可以同时带上上一个完整目录,方便发现新目录缺文件时回退。解压后应能直接看到以下结构:
1 2 3 4 5 6 7 8 9 10 11 | qwen25-05b-lora-resume-v1/ run_config.json checkpoint-8/ COMPLETE.json adapter_config.json adapter_model.safetensors optimizer.pt scheduler.pt trainer_state.json rng_state.pth training_args.bin |
这里的第 8 步只是目录举例。COMPLETE.json 存放该 Notebook 生成的文件哈希和训练配置签名。保存中断时,即使目录名更大,也要回去查清单和实际的 global_step。只带 adapter 能加载权重做推理,优化器、学习率进度和随机状态仍需从完整 checkpoint 恢复。只加载自己生成或可信来源的训练状态。
把目录添加到 Kaggle Notebook
- 新建私有 Kaggle Dataset,上传解压后的运行目录。新建或导入上面的 Notebook,在输入面板添加这个 Dataset。只上传续训必需文件,API Key 留在 Secrets 或本机环境变量中。
- 在运行时设置里选择 GPU。优先复用单卡设置。分到两张卡时,在导入 PyTorch 前用 CUDA_VISIBLE_DEVICES=0 限制为一张卡,并重启会话后从第一格运行。用 nvidia-smi 查看分配情况,以控制台实际额度为准。
- 把 SOURCE_RUN 填成实际包含 run_config.json 的输入路径。Notebook 会将只读输入复制到 /kaggle/working/qwen25-05b-lora-resume-v1 后再写入。使用新的已保存 checkpoint 时,启动一个干净运行时,避免沿用旧工作副本。
- 核对 run_config.json 里记录的 PyTorch 完整版本和依赖。默认三项固定为 Transformers 4.57.6、PEFT 0.18.1、Accelerate 1.12.0。模型按原 revision 加载。没有网络时,需要提前准备对应模型快照和依赖,并把模型加载路径指向已挂载的本地副本。
可见 GPU、互联网权限和运行时限制以账号为准。Colab 的免费额度也会随用量和资源情况变化。平台操作参见 Kaggle Notebook 文档、Kaggle Dataset 文档和 Colab FAQ。
怎么确认接上原来的步数?
看 last_run_summary.json。假设你搬的是第 8 步,恢复日志应报告 start_step: 8。训练完成后,final_step 应达到原计划的步数,而优化器和调度器应从保存点推进。两次运行用不同 GPU 时,浮点结果可以有差异。
2026 年 11 月 14 日在 Kaggle 私有 Notebook 上用一张 Tesla T4 实测,PyTorch 为 2.11.0+cu130,基础模型为 Qwen2.5-0.5B-Instruct。第一个进程用原 Colab Notebook 的训练代码和合成样本保存到第 4 步,第二个进程把完整目录复制到工作路径,从第 4 步恢复到第 16 步,并重新加载了 adapter 做推理。测试在 Kaggle 内用源目录和工作副本模拟迁移,实际的 Drive 下载和私有 Dataset 上传请按上面的步骤操作。
1 2 | saved: start_step=0 final_step=4 checkpoint-4 resumed: start_step=4 final_step=16 checkpoint-16 |
遇到 Saved run_config differs,先对照原配置恢复 PyTorch 版本(含后缀)、模型 revision、数据和训练参数。遇到没有完整 checkpoint,核对路径和清单,重新上传或选择上一个完整目录。恢复成功后,把 /kaggle/working 中完整运行目录保存为 Notebook 输出或下载到本地,确认能读取后再关闭会话。
训练时的保存逻辑和原始 Notebook 见Colab 断线续训指南。恢复参数和适配器文件格式可查 Transformers Trainer 与 PEFT 文档。
汤不热吧