为什么它会忘记我 20 条消息前说过的话?
为什么它会忘记我 20 条消息前说过的话?
上下文窗口 · 入门 · 3 分钟 · context、tokens、llm · 前置:[Tokens](/explain/tokens/)
上下文窗口是模型一次能读取的固定片段数量。它回答所依据的一切都必须装进这个窗口;更旧的内容会滑出去,并且在当前这一轮里根本没有被读到。
开始前:你能向朋友解释这个吗?1 2 3 4 5
1 = 完全不能 · 5 = 轻松做到
- 1 先猜
你在开头告诉了它你的名字。三十条消息后它又问了一次。为什么?
A 它有一个会随时间淡忘的记忆
- B 早期的消息滑出了它读取的固定窗口
- C 它只是在客气
- 2 看一看
传送带与画框
1 / 3
1 我叫 Minh 2 我住在河内 3 我喜欢 pho 4 我有一只猫
窗口:最后 6 条消息 · 变暗 = 已从传送带上掉出
四条消息,窗口大小为六。你说过的一切都在模型面前。
◀
-
- 重置 ▶
画框大小不变,而传送带持续移动;消息 1 不是变淡了,而是已经在窗口外。
- 每一轮,模型只读取最后 N 个片段——也就是窗口——别的都不读。应用通过每次重发对话来掩盖这一点,所以“记忆”其实只是“仍在窗口内”。现在窗口很大,但每个窗口都有边界。
- 4 你就是模型
设置窗口大小,添加消息,然后判断模型是否仍能看到“我有一只猫”(消息 4)。点击揭晓来检查。
1 我叫 Minh 2 我住在河内 3 我喜欢 pho 4 我有一只猫 5 它是灰色的
窗口:最后 5 条消息 · 变暗 = 已从传送带上掉出
窗口大小(消息数)5
小 宽敞
目前有 5 条消息。继续添加,然后看:模型还能看到消息 4(“我有一只猫”)吗?+ 消息 仍能看到 已经看不到 揭晓
我完成了——给我看模型
- 5 检查
一条消息在窗口之外。模型对它知道什么?
A 完全不知道
- B 一份摘要
- C 大致要点
- 6 复述
用一句话向朋友解释上下文窗口。比较
- 7 任务 · 5 分钟
使用免费的 Gemini 密钥,粘贴一份长文档并询问第一段。然后把同一份文档重复粘贴两遍再问一次。注意答案从什么时候开始跑偏。
[获取免费的 Gemini API 密钥](/learn/free-gemini-api-key/) 完成
三道快问
从本课的题库中随机抽取;下次会不一样。
完成了吗?
现在:你能向朋友解释它吗?1 2 3 4 5
1 = 完全不能 · 5 = 轻松做到
标记完成 先回答三道快问。
深入了解
来源
- https://docs.anthropic.com/en/docs/build-with-claude/context-windows
- https://ai.google.dev/gemini-api/docs/long-context 发布于 2026 年 10 月 20 日 · 更新于 2026 年 10 月 20 日