它会计划自己要说什么吗？

下一词元预测 · 入门 · 3 分钟 · 采样、LLM · 前置：[Tokens](/explain/tokens/)

语言模型一次写一段：它为下一段生成概率，抽一个，追加，然后重新开始。没有整句计划，每次只有下一段。

开始前：你能向朋友解释这个吗？1 2 3 4 5

1 = 完全不能 · 5 = 很容易

1 先猜一猜

写一段话时，它先决定什么？

A 整段，然后打出来
B 只有紧接着的下一段
C 最后一句，倒着写
2 看一看

一次一小段

1 / 2

猫坐在 ___ 上

垫子 60%

沙发 20%

地板 16%

月亮 3%

温度 1.0

抽取

概率仅作示意

抽取。这个片段落在句末，然后下一次又完整重来——带着新的概率。

◀

重置 ▶

每次抽取都会追加一个片段，下一段的概率随之改变：句子是构建出来的，不是检索出来的。

循环：读取目前的所有内容 → 计算下一片段的概率 → 抽取一个 → 追加 → 重复，直到出现停止片段。长而连贯的回答来自概率非常好，而不是来自计划。
4 你是模型

你先来：选择下一个片段。然后抽取，看看转盘转出了什么。共三轮。

猫坐在 ___ 上

垫子 60%

沙发 20%

地板 16%

月亮 3%

温度 1.0

抽取

你先来：选择下一个片段。垫子沙发地板月亮

我选好了——展示模型结果

5 检查

抽取一个片段后，会发生什么？

A 它被追加，然后整个内容会被重新读取
B 模型会忘掉它
C 会要求用户确认
6 复述

用一句话向朋友解释下一词元预测。比较

7 任务 · 2 分钟

给一个免费聊天机器人半个句子——“住在河内最好的地方是”——然后发送五次，每次都重新开始。数数你得到多少种不同结尾。

[打开 ChatGPT 免费版](/offer/chatgpt-free/) 完成

三道快问

从本课题库中随机抽取；下次会不同。

完成了吗？

现在：你能向朋友解释这个吗？1 2 3 4 5

1 = 完全不能 · 5 = 很容易

标记完成先回答三道快问。

深入阅读

来源

https://arxiv.org/abs/2005.14165（GPT-3 论文，自回归生成）
图中的概率仅作示意，直到 E2b（#220）

它会计划自己要说什么吗？