为什么它会数错“strawberry”里的 r？
为什么它会数错“strawberry”里的 r？
Tokens · 初学者 · 3 分钟 · tokens、llm
一个 token 是语言模型实际读取的文本单位：一个词、词的一部分或标点，每个都会被转成一个数字。模型用 token 来计数、定价和限制所有内容，而从来看不到一个 token 内部的字母。
开始之前：你能向朋友解释这个吗？1 2 3 4 5
1 = 完全不会 · 5 = 轻松解释
- 1 先猜一猜
“strawberry”对模型来说是几个片段？A 一个——它是一个单词
- B 十个——每个字母一个
- C 三个
- 2 看
“strawberry”，两种看法
1 / 3
s
t
r
a
w
b
e
r
r
y
字母 10
r 的数量 3
片段 —
你的眼睛：十个字母，其中三个是 r。很简单。
◀
-
- 重置 ▶
切换视角：你数出的字母消失了，剩下的是带编号的片段，r 藏在里面。
- 在一切开始之前，文本会按固定规则切成片段，每个片段变成一个数字。常见词保持完整；罕见词会被切开。模型从来看不到字母——所以“数 r 的数量”是一个它必须盲答的问题。
- 4 你就是模型
输入任意单词。猜猜模型会看到多少个片段，然后切换视角比较。试试你的名字，再试一个长的罕见词。
1 2 3 4+
r
a
s
p
b
e
r
r
y
字母 9
r 的数量 3
片段 —
猜猜模型看到多少个片段，然后切换视角。模型视角
我猜好了——给我看模型
- 5 检查
为什么它会数错 r 的数量？A 它从来看不到字母，只看到带编号的片段
- B 它完全不会数数
- C “strawberry”是个难词
- 6 复述出来
用一句话向朋友解释 token。比较
- 7 任务 · 2 分钟
问一个免费聊天机器人“strawberry”里有多少个 r。然后让它先逐行拼写这个词，每行一个字母，再数一遍。看看第二次回答是否命中。
[打开 ChatGPT 免费版](/offer/chatgpt-free/) 完成
三道快问
从本课题库中随机抽取；下次会不同。
完成了吗？
现在：你能向朋友解释这个吗？1 2 3 4 5
1 = 完全不会 · 5 = 轻松解释
标记完成 先回答三道快问。
深入了解
来源
在你输入前，片段来自一个演示分词器；输入后，则来自 GPT-2 分词器，并缩减为 50,000 次合并中的前 16,000 次（罕见词可能切得更细）；其他模型的切分方式不同。发布于 2026 年 10 月 20 日 · 更新于 2026 年 10 月 20 日