为什么它如此礼貌（又如此谨慎）？
为什么它如此礼貌（又如此谨慎）？
RLHF · 构建者 · 5 分钟 · 训练、安全、LLM · 继 [训练：损失与梯度下降](/explain/training/) 之后
预训练之后，人们对模型的回答进行排序，第二个模型学会这种品味，语言模型则被推向品味模型评分高的回答。礼貌和谨慎是学来的偏好，不是内置规则。
开始之前：你能向朋友解释这个吗？ 1 2 3 4 5
1 = 完全不能 · 5 = 轻松
- 1 先猜
预训练刚结束时，模型会如何回答“我的笔记本电脑开不了机”？
- A 有帮助地——它读过那些论坛
- B 给出任何看似合理的续写：有帮助、无礼或无用
- C 它拒绝回答
- 2 看
面板
1 / 3
“我的笔记本电脑开不了机。我该怎么办？”
1 · 真实但无用 笔记本电脑是用于计算的电子设备。
- # 2 · 有帮助 按住电源键 10 秒，然后插上充电器再试一次。如果指示灯仍然不亮，充电器或电池是首要嫌疑。
- # 3 · 无礼 买新的吧哈哈
绿色 = 模型现在有多偏好这类回答
预训练之后，模型三种都能写。它没有偏好：三种都是合理文本。
◀
-
-
- 重置 ▶
随着人类排名变成模型被调向的偏好，同样三个回答会从“全部相同”变为“有帮助的排最前”。
- 评分者看到一个提示和几个回答并排序。成千上万的排名训练出一个奖励模型：一个偏好计量器。然后语言模型被推动（同样的猜测—测量—推动循环），使偏好计量器给它的回答更高分。这就是 RLHF：基于人类反馈的强化学习。
- 4 你就是模型
你是评分者。给三个回答排序，然后提交，看看你的排名与大多数人的排名相比如何。
“我的笔记本电脑开不了机。我该怎么办？”
1 笔记本电脑是用于计算的电子设备。
↑ ↓
- # 2 按住电源键 10 秒，然后插上充电器再试一次。如果指示灯仍然不亮，充电器或电池是首要嫌疑。
↑ ↓
- # 3 买新的吧哈哈
↑ ↓
你是评委。给三个回答排序，然后提交。提交
我完成了——给我看模型
- 5 检查
为什么模型这么爱含糊其辞？
- A 谨慎的回答很少排最后，所以谨慎会得到奖励
- B 有一条规则说“永远留余地”
- C 它对一切都不确定
- 6 复述一遍
用一句话向朋友解释 RLHF。比较
- 7 任务 · 5 分钟
向两个不同的免费聊天机器人问同一个略带冒犯性的问题（“吐槽我的代码风格”）。比较它们各自如何留余地、拒绝或开玩笑。这种差异就是两批不同的评分者。
[打开免费版 ChatGPT](/offer/chatgpt-free/) 完成
三个小问题
从本课题库中随机抽取；下次会不同。
完成了吗？
现在：你能向朋友解释这个吗？ 1 2 3 4 5
1 = 完全不能 · 5 = 轻松
标记完成；请先回答三个小问题。