它怎么知道“king”与“queen”很接近？
它怎么知道“king”与“queen”很接近？
嵌入 · 入门 · 5 分钟 · embeddings、llm · 前置：[Tokens](/explain/tokens/)
嵌入是模型用来表示一个词在具有数千维空间中的位置的一串数字。经常出现在相似上下文中的词最终会彼此靠近，而关系会变成可以相加的方向。
开始之前：你能向朋友解释这个吗？1 2 3 4 5
1 = 完全不能 · 5 = 轻松做到
- 1 先猜一猜
模型把“king”和“queen”有关这一事实存在哪里？
- A 在某人输入的近义词词典里
- B 作为位置：这两个词彼此相邻
- C 它会在网上查
- 2 看
词语住在哪里
1 / 3
king queen prince princess man woman boy girl apple banana cherry grape paris france tokyo japan rome italy happy glad sad angry dog cat puppy
真实 GPT-2 嵌入位置，经 PCA 降至二维（#220）
每个词条都会成为具有数千维空间中的一个点——这里被压扁到二维。
◀ - 重置 ▶
词语会落入无人预先放置的簇中，而 king→queen 与 man→woman 是同一个箭头。
- 每个词条都会变成一串数字——数百或数千个。把这串数字当作坐标，每个词就是一个点。训练会微调这些点，直到经常出现在相似上下文中的词彼此靠近。
- 4 你就是模型
点一颗星星查看它的邻居。然后拖动绿色箭头，让它的尾部落在“man”上，看看箭头头部落在哪里。
king queen prince princess man woman boy girl apple banana cherry grape paris france tokyo japan rome italy happy glad sad angry dog cat puppy
点一颗星星查看它的邻居。然后拖动绿色箭头到“man”上。
我做到了——给我看模型
- 5 检查
为什么“apple”和“banana”彼此靠近？
- A 因为它们在文本中出现于相似上下文
- B 因为有人给它们标了“水果”
- C 因为它们拼写相似
- 6 复述
用一句话向朋友解释嵌入。对比
- 7 任务 · 5 分钟
获取一个免费嵌入密钥，并嵌入三个词：“king”“queen”“banana”。比较距离（余弦相似度），看看哪一对最接近。
[免费嵌入 API](/learn/free-embeddings-api/) 完成
三道快问
从本课题目库中随机抽取；下次会不同。
完成了吗？
现在：你能向朋友解释这个吗？1 2 3 4 5
1 = 完全不能 · 5 = 轻松做到
标记完成 先回答三道快问。
进一步了解
来源
- https://arxiv.org/abs/1301.3781（Mikolov 等，2013）
- https://jalammar.github.io/illustrated-word2vec/
- 图中的位置仅为示意布局（E2b，#220）。