标签：rlhf

2026-09-12andy阅读(13)

大模型的对齐（Alignment）训练是让预训练基座模型从「续写文本」变为「遵循人类意图」的关键环节。从2022年ChatGPT采用RLHF（Reinforcement Learning from Human Feedback）一鸣惊人，到...

2026-07-22andy阅读(139)

一、引言：从 RLHF 到 DPO 的范式转变 大语言模型（LLM）在预训练阶段通过海量文本学习到了丰富的语言知识和世界知识，但预训练模型的行为并不一定符合人类期望——它可能输出有害内容、编造事实，或者无法遵循指令。为了让模型”...

2026-07-13andy阅读(219)

引言：为什么强化学习是AI工程师的必修课 在大模型与生成式AI席卷全球的今天，强化学习（Reinforcement Learning, RL）正在以超乎想象的速度重新定义人工智能的边界。从ChatGPT背后的RLHF（人类反馈强化学习）到A...

2026-01-02andy阅读(449)评论(0)

深入理解DPO：高效RLHF的替代方案 在使用开源大型语言模型（LLMs）时，安全性和伦理对齐是模型部署前必须解决的核心问题。传统上，我们使用基于强化学习的人类反馈（RLHF），例如近端策略优化（PPO）。然而，PPO存在计算资源消耗巨大、...