盒子里面有什么？
ChatGPT 内部有什么？5 分钟看懂 Transformer
盒子里面有什么？
Transformer · 构建者 · 5 分钟 · transformer、attention、llm · 在 [自注意力](/explain/self-attention/) 之后
Transformer 是一叠相同的层。每一层先运行注意力（谁对谁重要），再对每个片段做一次小的“思考”步骤；整个堆叠重复几十次，最后为下一个片段生成概率。
开始之前：你能向朋友解释这个吗？1 2 3 4 5
1 = 完全不能 · 5 = 轻松做到
- 1 先猜一猜
模型内部有多少种不同的机制？A 几十种——语法、事实、逻辑，各是独立部分
- B 两个动作，反复重复
- C 一张巨大的查找表
- 2 观察
同一个技巧，重复十二次
1 / 3
第 1 层
第 2 层
第 3 层
第 4 层
第 5 层
第 6 层
第 7 层
第 8 层
第 9 层
第 10 层
第 11 层
第 12 层
it
一个片段——“it”——进入第一层时，只携带它本身的信息：一个词和一个位置。
◀
-
- 重置 ▶
一个片段每经过一圈就改变颜色：同样的两个动作反复执行，重写这个片段在此处的含义。
- 注意力让每个片段从其他片段收集信息；“思考”步骤（一个小型神经网络，即 MLP）处理它收集到的内容。堆叠十几次后，一个片段最终携带整句话的上下文——然后最后一层把它变成概率。
- 4 你就是模型
把四个块按片段遇到它们的顺序排列，然后检查。
思考（MLP）处理注意力发现的内容 ↑ ↓
- 下一个片段的概率 加载好的轮盘 ↑ ↓
- 嵌入 片段 → 数字 ↑ ↓
- 注意力 谁对谁重要 ↑ ↓ × 12：中间两个逐层重复
把四个块按片段遇到它们的顺序排列。检查
我完成了——给我看模型
- 5 检查
下一个片段的概率来自哪里？A 最后一层的输出，转换成一个分布
- B 第一层
- C 一个独立的规则引擎
- 6 复述出来
用一句话向朋友解释 Transformer。比较
- 7 任务 · 2 分钟
回到旅程，输入你自己的句子，慢慢滚动浏览各层站点。数一数圈数，观察片段变色。
[打开旅程](/explain) 完成
三道快问
从本课题库中随机抽取；下次会不同。
完成了吗？
现在：你能向朋友解释这个吗？1 2 3 4 5
1 = 完全不能 · 5 = 轻松做到
标记完成
先回答三道快问。