监督微调（SFT）让大模子能 “听懂提示”，但要让模子 “说的话合适东说念主类偏好”—— 比如回答更端正、推理更严谨、拒却无益恳求，还需要东说念主类反馈强化学习（RLHF）。这种从 “能作念” 到 “作念好” 的跨越，正是对王人技能（Aligning）的中枢主见。RLHF 并非浮浅的 “二次纯属”尊龙凯时(中国)官方网站，而是通过东说念主类反馈构建 “奖励信号”，让模子在试错中学会贴近东说念主类价值不雅。

SFT 的局限在于它只可学到 “正确的反映”，却无法成见 “更好的反映”。比如面对 “保举一部电影” 的提示，SFT 能生成 “保举《流浪地球》” 这么合适语法的回答，但无法判断东说念主类更偏好 “带剧情简介的保举” 照旧 “带上映时候的保举”；面对明锐问题，SFT 可能生成 “技能上可行” 的回答，却意志不到需要 “拒却恢复”。这些主不雅偏好、安全规模、格调选定，恰正是东说念主类调换的中枢 —— 而 RLHF 的价值，即是让模子在这些 “恶浊地带” 作念出合适东说念主类期待的选定。

SFT 与 RLHF 的本色区别在于学习主见：SFT 是 “效法已知正确谜底”，用标注好的 “提示 – 反映” 对径直休养模子参数，就像学生背诵圭臬谜底；RLHF 则是 “通过反馈优化步履”，先让模子生成多个候选谜底，再凭证东说念主类对谜底的排序或评分构建奖励，临了用强化学习让模子朝着高奖励所在休养，雷同安分通过删改功课携带学生卓越。这种各异让 RLHF 能处理 SFT 无法隐讳的场景：当莫得 “惟一正确谜底” 时（如创意写稿、对话格调），RLHF 能通过偏好反馈找到 “更优解”。

OpenAI 的 RLHF 进程：三步达成 “东说念主类偏好对王人”

OpenAI 的 RLHF 框架分为三个细巧连结的阶段，造成 “生成 – 反馈 – 优化” 的闭环。这一进程就像纯属宠物：先教它基础动作（SFT），再告诉它哪些动作受表扬（奖励模子），临了通过奖励让它主动叠加好动作（PPO）。

第一阶段是监督微调（SFT）。酌量东说念主员先用高质地东说念主工标注数据（如 “用户问‘地球为什么是圆的’，对应回答‘因为引力作用’”）纯属模子，让它掌抓基础的提示解雇智力。这一步生成的 “开动战术模子” 能输出合适语义的反映，但可能在格调、安全性上存在裂缝 —— 比如回答正确但口吻生硬，或在恶浊问题上给出浮松论断。

第二阶段是纯属奖励模子（RM）。这一步的中枢是将 “东说念主类偏好” 更动为可狡计的 “奖励信号”。酌量东说念主员让 SFT 模子对归拢个问题生成多个不同回答（比如对 “保举电影” 生成 3 个不同格调的谜底），再让东说念主类标注者对这些回答排序（如 “带剧情简介的回答＞只给片名的回答＞无关保举”）。奖励模子通过学习这些排序数据，学会给 “东说念主类更偏好” 的回答打高分（比如 1-10 分），给分歧适的回答打低分。最终，奖励模子能像 “自动裁判” 同样，对落拓回答快速给出质地评分，幸免了后续优化依赖东说念主工标注的低效问题。

第三阶段是用 PPO 算法优化战术模子。这一步中，战术模子（需要优化的模子）生成回答后，由奖励模子打分当作 “奖励”，强化学习算法（PPO）凭证奖励休养模子参数 —— 让高奖励回答的生成概率增多，低奖励回答的概率责备。为了幸免模子 “通时达变”（比如生成无酷好酷好但高分的套话），进程中还会引入 “参考模子”（通常是 SFT 模子），通过狡计面前模子与参考模子的输出各异（KL 散度），给过度偏离基础智力的生成加处分。这种 “奖励 + 处分” 的机制，保证模子在优化偏好的同期，不丢失 SFT 阶段学到的基础智力。

通盘进程中，三个中枢模子协同使命：战术模子追究 “生成回答”，奖励模子追究 “判断利弊”，参考模子追究 “守住底线”。通过多轮迭代，模子渐渐学会在保持正确性的同期，贴合东说念主类对 “友好度”“安全性”“灵验性” 的期待。

RLAIF 与 ReFT：责备 RLHF 资本的翻新所在

RLHF 的遵守依赖高质地东说念主类反馈，但东说念主工标注资本极高 —— 纯属一个奖励模子可能需要数万条排序数据，且专科领域（如医疗、法律）的标注需要众人参与。为处置这一问题，酌量东说念主员树立了 RLAIF 和 ReFT 等替代决策。

RLAIF（AI 反馈强化学习）用大模子替代东说念主类生成偏好数据。具体来说，先用强模子（如 GPT-4）对平凡模子的输出进行评分或排序 —— 比如让 GPT-4 判断 “两个医疗回答哪个更合适临床顺次”，再用这些 AI 生成的偏好数据纯属奖励模子。这种要津的上风是资本低、限制大，尤其安妥需要普遍数据的场景。实验知道，在安全性对王人任务中，RLAIF 生成的奖励模子性能接近东说念主类标注的模子，且能幸免东说念主类标注中的主不雅偏差（如不同标注者对 “端正” 的界说各异）。

ReFT（强化微调）则简化了 RLHF 的进程，径直用偏好数据微调模子，跳过单独的奖励模子纯属。它的中枢想路是：将东说念主类偏好编码到模子参数中，而非通过强化学习的奖励信号波折休养。举例，给模子输入 “用户问‘何如减肥’，好回答是‘限度饮食 + 成见’，差回答是‘节食’”，让模子在纯属中径直学习 “好回答” 的花式。ReFT 在数据量较少时遵守更高，安妥快速适配特定场景（如企业客服的口吻休养），但泛化智力弱于好意思满的 RLHF。

DPO：跳过奖励模子的高效对王人要津

PPO 是 RLHF 的经典算法，但需要纯属奖励模子和战术模子，狡计资本高且进程复杂。DPO（径直偏好优化）的出现突破了这一遗弃 —— 它跳过奖励模子，径直用东说念主类偏好数据优化战术模子，将对王人进程从 “两步” 简化为 “一步”。

DPO 的中枢旨趣是 “对比学习”：给模子同期展示 “偏好回答” 和 “非偏好回答”，让它学会别离两者并生成更优的阿谁。举例，关于 “保举一册书” 的提示，输入 “好回答：《三体》（科幻，安妥初学）” 和 “差回答：《三体》”，模子通过学习这对样本，渐渐成见 “带保举事理的回答更受偏好”。具体达成中，DPO 通过一个浮浅的耗损函数携带模子：让偏好回答的生成概率高于非偏好回答，同期限度模子与开动 SFT 模子的各异（幸免过度优化导致智力退化）。

与 PPO 比拟，DPO 的上风可想而知。PPO 需要同期改动战术模子、奖励模子、价值模子和参考模子，纯属过程中还要不停休养学习率、KL 处分等超参数，稍有失慎就会导致模子输出 “崩坏”（如生成无酷好酷好文本）；而 DPO 只需要战术模子和一个参考模子，参数少、纯属厚实，平凡 GPU 就能运行。在对话对王人任务中，DPO 的性能接近 PPO，但纯属时候裁汰 60%，因此成为中小模子对王人的首选要津。

不外 DPO 也有局限。它对偏好数据的质地更明锐 —— 若是数据中存在诞妄（如把 “差回答” 标成 “好回答”），DPO 会径直学到诞妄花式，而 PPO 的奖励模子能一定进度上平滑这种噪声。此外，DPO 难以处理 “多维度偏好”（如同期优化 “准确性” 和 “端正性”），因为它的耗损函数只可抒发 “谁比谁好”，无法量化不同维度的权重。

DPO 的优化与繁衍：从 SimPO 到 KTO

为处置 DPO 的裂缝，酌量东说念主员建议了一系列矫正算法，这些要津在保留 DPO 圣洁性的同期，提高了鲁棒性和泛化智力。

动态 β 休养是优化 DPO 的中枢妙技。β 是 DPO 中限度模子与参考模子各异的参数：β 过小，模子可能过度拟合偏好数据，丢失基础智力；β 过大，模子休养不及，无法贴近偏好。动态 β 要津让模子凭证数据自动休养 β 值 —— 举例，在高质地数据（如众人标注的医疗回答）中减小 β，允许模子更大幅度休养；在低质地数据（如网罗爬取的对话）中增大 β，遗弃模子变化。这种自安妥休养让 DPO 在复杂数据贴近的厚实性提高 30%。

SimPO（简化偏好优化）进一步简化了 DPO 的耗损函数，去掉了对参考模子的依赖，径直让模子学习 “偏好回答” 的分散。它的狡计量比 DPO 更低，适联合源受限的场景，但泛化智力稍弱。KTO（知识与偏好优化）则纠合了事实准确性和东说念主类偏好，在耗损函数中同期加入 “知识敛迹”（如 “回答需合适学问”）和 “偏好敛迹”（如 “回答需圣洁”），幸免模子为了投合偏好而生成诞妄信息（如为了 “友好” 而保举无效的减肥要津）。

ORPO（在线偏好优化）和 GRPO（广义奖励偏好优化）则更接近 PPO 的想路，引入了在线学习机制 —— 模子生成回答后，立即用及时反馈（如用户点击 “灵验” 或 “毋庸”）休养参数，造成 “生成 – 反馈 – 更新” 的及时闭环。这种要津安妥对话系统等需要络续迭代的场景，能快速适运用户偏好的变化，但需要厚实的反馈起原和高效的在线更新机制。

对王人技能的中枢挑战：从 “效法偏好” 到 “成见价值”

不管是 RLHF、DPO 照旧它们的变体，面前对王人技能仍靠近三大中枢挑战。奖励黑客（Reward Hacking）是最常见的问题 —— 模子可能学会 “钻奖励模子的空子”，生成看似合适偏好但无推行酷好酷好的回答。举例，奖励模子若以 “长度” 猜测回答质地，模子会生成冗长却缺乏的内容；若以 “安全性” 为惟一圭臬，模子可能过度湮灭问题（如对悉数问题都回答 “我不知说念”）。处置这一问题需要更全面的奖励信号，举例同期探究 “灵验性”“准确性”“安全性”，幸免单一目的的间隙。

东说念主类偏好的动态性也让对王人变得复杂。不同场景下的偏好可能矛盾 —— 在医疗商议中，“准确” 比 “委婉” 更遑急；在心扉商议中，“共情” 比 “高效” 更环节。现存要津难以让模子凭证场景自动切换偏好权重，将来可能需要纠合场景识别技能，让模子先判断 “面前是专考场景照旧广宽对话”，再调用对应偏好模子。

临了，对王人技能的可诠释性如故难点。RLHF 和 DPO 能让模子生成合适偏好的回答，但无法诠释 “为什么这个回答更好”—— 比如模子拒却无益恳求时，咱们无法细则它是 “成见了安全法例” 照旧 “记着了纯属样本”。这种 “黑箱” 特质遗弃了对王人技能在高风险领域（如自动驾驶、医疗会诊）的运用，将来需要纠合可诠释 AI 技能，让模子的偏好决策过程变得透明。

结语：对王人技能的终极主见是 “让 AI 懂东说念主类”

从 SFT 到 RLHF，再到 DPO 及变体，对王人技能的演进持久围绕一个中枢：让模子从 “被迫解雇提示” 到 “主动贴合东说念主类需求”。这种卓越不仅依赖算法翻新，更需要对 “东说念主类偏好” 的真切成见 —— 偏好不是浮浅的 “好与坏”，而是价值不雅、场景需求、文化布景的轮廓体现。

将来的对王人技能可能会交融更多学科：纠合说明科学成见东说念主类决策花式，纠合社会学界说普适价值不雅，纠合说话学优化对话格调。当模子能像东说念主类同样 “成见偏好背后的原因”，而非单纯 “效法偏好发扬” 时，信得过的东说念主机对王人才会达成 —— 其时的 AI 不仅能 “说对的话”，更能 “陆续适的话”。

本文由 @红岸小兵 原创发布于东说念主东说念主都是居品司理。未经作家许可，退却转载

题图来自Unsplash，基于CC0合同

该文不雅点仅代表作家本东说念主尊龙凯时(中国)官方网站，东说念主东说念主都是居品司理平台仅提供信息存储空间就业