标签：大模型微调

2026-07-22andy阅读(38)

一、引言：从 RLHF 到 DPO 的范式转变 大语言模型（LLM）在预训练阶段通过海量文本学习到了丰富的语言知识和世界知识，但预训练模型的行为并不一定符合人类期望——它可能输出有害内容、编造事实，或者无法遵循指令。为了让模型”...

2026-07-17andy阅读(62)

在大模型应用落地的过程中，微调（Fine-tuning）是让通用模型适配特定业务场景的核心手段。然而，许多团队在微调时投入大量精力调参、选模型架构，却忽视了最关键的一环——数据。业界有句广为流传的话：”Data is the h...

2026-07-12andy阅读(71)

引言：为什么需要 LoRA？ 大语言模型（LLM）的参数量动辄数十亿甚至数千亿，传统全参数微调（Full Fine-Tuning）需要为每个下游任务保存一份完整的模型副本。以 LLaMA-65B 为例，全参数微调仅单份 checkpoint...