它是怎么学会这一切的？
ChatGPT 是如何学习的？8 分钟讲清损失与梯度下降
它是怎么学会这一切的？
训练：损失与梯度下降 · 构建者 · 8 分钟 · 训练、LLM · 在[下一词元预测](/explain/next-token/)之后
训练是一个循环：模型猜测真实文本的下一小段，损失分数衡量猜错的程度，内部每个数字都被轻轻往山下推一点。数十亿次微调，没有规则，也没有老师讲解任何东西。
开始前：你能向朋友解释这个吗？1 2 3 4 5
1 = 完全不能 · 5 = 很容易
- 1 先猜一猜
模型如何学会“法国的首都是”后面是“巴黎”？
- A 有人把这个事实打进去
- B 它猜测真实文本的下一段，被打分，然后被微调——数十亿次
- C 它读了一遍百科全书并记住了
- 2 观察
猜测、衡量、微调
1 / 3
最低损失 损失 ↑ = 错得更多 学习率 0.4 · 步数 0
模型一开始像被随机丢在某处的球。高度就是损失：它在训练文本上猜得有多错。
◀ 重置 ▶
球每次只往山下移动一点，却仍能找到山谷——除非推动太大，把它甩出去。
- 从训练文本中取一句话，遮住下一段，让模型猜。损失表示它给出的概率离真相有多远。然后把数十亿个数字中的每一个，朝降低损失的方向轻轻推一丝。对下一句重复。持续数月。
- 4 你就是模型
选择推动幅度（学习率），然后让球一步步下山。到达山谷且不飞出去。
最低损失 损失 ↑ = 错得更多 学习率（推动幅度）1.2 ✓
很小 很大
选择推动幅度，然后让球下山。到达山谷且不飞出去。重置 步进
我做到了——给我看模型
- 5 检查
如果学习率太大，会发生什么？
- A 球会冲过山谷，甚至飞出去
- B 训练结束得更快，没有坏处
- C 没有变化
- 这就是为什么事实可能模糊：没有任何内容被作为事实存储。让“巴黎”在“法国首都”之后更可能的数字，和完成其他所有任务的数字是同一批，它们一起被微调。
- 7 复述一遍
用一句话向朋友解释训练。比较
- 8 任务 · 5 分钟
领取免费 GPU 配额，运行一个小型训练 notebook（任何“训练字符级模型”的教程）。观察损失数值下降五分钟。那个下降的数字就是本课内容。
[免费 GPU 配额](/tools/free-gpu-quotas) 完成
三道快问快答
从本课题目池中随机抽取；下次会不同。
完成了吗？
现在：你能向朋友解释这个吗？1 2 3 4 5
1 = 完全不能 · 5 = 很容易
标记完成 先回答三道快问快答。
深入了解
来源
发布于 2026 年 10 月 20 日 · 更新于 2026 年 10 月 20 日