为什么相同的提示会得到不同的答案？

温度与采样 · 入门 · 3 分钟 · 采样、LLM

语言模型不会挑选最佳的下一个词；它会在所有可能的下一个词上掷一颗有偏骰子。温度会重塑这颗骰子：低温几乎总让首选词获胜，高温让不太可能的词也有真正机会。

开始前：你能向朋友解释这个吗？1 2 3 4 5

1 = 完全不能 · 5 = 轻松解释

1 先猜一猜

你发送完全相同的提示两次，却得到两个不同答案。为什么？A 它记住第一个答案，并避免重复

B 它在所有可能的下一个词上掷骰子，每个词都掷
C 第二次是另一个模型回答的
2 看一看

有偏转盘，三种方式

1 / 3

猫坐在 ___ 上

地板 53 %

床 24 %

沙发 9 %

地面 8 %

边缘 5 %

温度 0.2

抽取

此提示下的真实 GPT-2 small 概率（#220）

冷（0.2）：小球几乎不动，几乎全是“地板”。抽五次——每次都一样。

◀

重置 ▶

同样的概率，三种热度：冷时每次抽到同一个词，热时几乎每次都不同。

模型输出的不是一个词，而是概率——比如“地板”8%、“床”7%、“沙发”5%，如此沿五万个片段列下去。然后抽取一个片段。温度会在抽取前拉伸或压缩这些概率。
4 你就是模型

把热度调到连续三次抽到不同结果。然后再把它调得无聊：连续三次相同。

猫坐在 ___ 上

地板 26 %

床 22 %

沙发 18 %

地面 18 %

边缘 16 %

温度 1.0

冷热

抽取

目标：连续抽到三个不同片段。

我做到了——给我看模型

5 检查

高温时概率会发生什么？A 它们变平：罕见片段获得真正机会

B 它们向最受偏好的结果变尖
C 它们不变；只有速度变
6 复述

用一句话向朋友解释温度。比较

7 任务 · 5 分钟

使用免费 API 密钥，分别以温度 0 和 1.5 发送相同提示，各三次。统计每种设置下得到多少个不同答案。

[获取免费的 Gemini API 密钥](/offer/google-gemini-developer-api-free-tier/) 完成

三个快速问题

从本课题目池中随机抽取；下次会不同。

完成了吗？

现在：你能向朋友解释这个吗？1 2 3 4 5

1 = 完全不能 · 5 = 轻松解释

标记完成。请先回答三个快速问题。

深入探索

来源

https://huggingface.co/blog/how-to-generate
https://ai.google.dev/gemini-api/docs/text-generation（temperature 参数）
图中概率为示意，直到 E2b（#220）加入模型数值。

为什么相同的提示会得到不同的答案？