四川省网站建设,广州工商注册查询网,格瑞特网站建设,印刷厂网站源码一、背景与动机 传统预训练微调的局限 大规模语言模型#xff08;LLM#xff09;一般先做海量无监督预训练#xff0c;再做有监督微调。但仅靠有监督微调#xff08;Supervised Fine-Tuning#xff0c;SFT#xff09;难以保证模型输出的内容足够符合人类价值观#xff0…一、背景与动机 传统预训练微调的局限 大规模语言模型LLM一般先做海量无监督预训练再做有监督微调。但仅靠有监督微调Supervised Fine-TuningSFT难以保证模型输出的内容足够符合人类价值观也难以灵活处理开放域的复杂指令。 RLHF 的提出 RLHF 即“从人类反馈中学习的强化学习”旨在通过人类标注的偏好数据来构建奖励信号再利用强化学习如PPO不断优化模型策略以获得更契合人类期望的生成效果。
二、核心流程
RLHF 通常包括以下三大阶段
1. 有监督微调 (Supervised Fine-Tuning, SFT)
数据构建采集人类撰写或修正的大规模“指令—回复”对Instruction–Response数据集。微调在预训练模型基础上用交叉熵损失对该数据集进行微调使模型具备初步的指令执行能力。
2. 构建奖励模型 (Reward Model, RM)
偏好采集对同一指令生成多组不同模型回复并请多位标注者对回复进行“更好”“次之”排序。训练奖励模型以标注数据为训练集学习一个函数 R ϕ ( x , y ) R_\phi(x, y) Rϕ(x,y) 对输入指令 x x x和模型回复 y y y输出一个标量奖励值。通常采用对比损失pairwise loss进行训练 L R M − ∑ (better, worse) log σ ( R ϕ ( x , y better ) − R ϕ ( x , y worse ) ) \mathcal{L}_{RM} -\sum_{\text{(better, worse)}} \log \sigma \big( R_\phi(x, y_{\text{better}}) - R_\phi(x, y_{\text{worse}}) \big) LRM−(better, worse)∑logσ(Rϕ(x,ybetter)−Rϕ(x,yworse))
3. 强化学习优化 (RL with PPO)
策略模型使用现有的 SFT 模型作为初始策略 π θ \pi_\theta πθ。采样交互给定指令 x x x从 π θ \pi_\theta πθ中采样生成回复 y y y并由 RM 计算奖励 r R ϕ ( x , y ) r R_\phi(x, y) rRϕ(x,y)。PPO 更新采用 Proximal Policy OptimizationPPO算法最大化以下目标 L P P O ( θ ) E t [ min ( r t ( θ ) A ^ t , clip ( r t ( θ ) , 1 − ϵ , 1 ϵ ) A ^ t ) ] \mathcal{L}_{PPO}(\theta) \mathbb{E}_t \Big[ \min \big( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1\epsilon)\hat{A}_t \big) \Big] LPPO(θ)Et[min(rt(θ)A^t,clip(rt(θ),1−ϵ,1ϵ)A^t)] 其中优势函数 A ^ t \hat{A}_t A^t 由奖励和价值函数估计构成 ϵ \epsilon ϵ为裁剪超参数。KL 惩罚为防止策略偏离初始模型过远通常在损失中加入 KL 散度惩罚项 L L P P O − β K L [ π θ ∥ π ref ] \mathcal{L} \mathcal{L}_{PPO} - \beta \, \mathrm{KL}[\pi_\theta \,\|\, \pi_{\text{ref}}] LLPPO−βKL[πθ∥πref]
三、关键技术细节 奖励模型的可靠性 偏好数据需覆盖多样场景避免奖励模型过拟合或产生“投机取巧”策略。常用交叉验证、验证集监控训练效果并可采用人类在环 (Human-in-the-Loop) 定期修正。 PPO 超参数与稳定性 采样批次大小、PPO 迭代步数、裁剪范围 ϵ \epsilon ϵ及 KL 惩罚系数 β \beta β都需细致调优。训练时常监控平均奖励、策略与参考模型的 KL 值、生成质量和多样性。 多轮对话与长文本 对于对话型模型需要将对话历史作为状态输入并对长上下文进行截断或使用长序列处理技术如 Transformer-XL、Reformer。 安全与价值对齐 可在奖励模型中加入“安全分类器”作为辅助惩罚不当或偏激内容。设计多目标奖励在满足指令完成度的同时确保回答准确、礼貌、无偏见。
四、挑战与未来展望 人力成本高 收集大规模、高质量的偏好数据成本昂贵。未来可探索弱监督、半监督或自动化标注方法。 奖励模型作弊 模型可能学习到“奖励漏洞”生成容易获得高分但不符合真实需求的内容。需加强奖励模型的鲁棒性与泛化能力。 多目标权衡 如何在准确性、创造性、简洁性、安全性等多维需求之间取得平衡是一个持续研究的问题。 跨模态扩展 从文本扩展到图像、音频、视频等多模态场景将 RLHF 与视觉、语音模型结合也是前沿方向。
