← 小课堂

为什么它会忘记我 20 条消息前说过的话?

为什么它会忘记我 20 条消息前说过的话?

上下文窗口 · 入门 · 3 分钟 · context、tokens、llm · 前置:[Tokens](/explain/tokens/)

上下文窗口是模型一次能读取的固定片段数量。它回答所依据的一切都必须装进这个窗口;更旧的内容会滑出去,并且在当前这一轮里根本没有被读到。

开始前:你能向朋友解释这个吗?1 2 3 4 5

1 = 完全不能 · 5 = 轻松做到

  • 1 先猜

你在开头告诉了它你的名字。三十条消息后它又问了一次。为什么?

A 它有一个会随时间淡忘的记忆

  • B 早期的消息滑出了它读取的固定窗口
  • C 它只是在客气
  • 2 看一看

传送带与画框

1 / 3

1 我叫 Minh 2 我住在河内 3 我喜欢 pho 4 我有一只猫

窗口:最后 6 条消息 · 变暗 = 已从传送带上掉出

四条消息,窗口大小为六。你说过的一切都在模型面前。

◀

-

  • 重置 ▶

画框大小不变,而传送带持续移动;消息 1 不是变淡了,而是已经在窗口外。

  • 每一轮,模型只读取最后 N 个片段——也就是窗口——别的都不读。应用通过每次重发对话来掩盖这一点,所以“记忆”其实只是“仍在窗口内”。现在窗口很大,但每个窗口都有边界。
  • 4 你就是模型

设置窗口大小,添加消息,然后判断模型是否仍能看到“我有一只猫”(消息 4)。点击揭晓来检查。

1 我叫 Minh 2 我住在河内 3 我喜欢 pho 4 我有一只猫 5 它是灰色的

窗口:最后 5 条消息 · 变暗 = 已从传送带上掉出

窗口大小(消息数)5

小 宽敞

目前有 5 条消息。继续添加,然后看:模型还能看到消息 4(“我有一只猫”)吗?+ 消息 仍能看到 已经看不到 揭晓

我完成了——给我看模型

  • 5 检查

一条消息在窗口之外。模型对它知道什么?

A 完全不知道

  • B 一份摘要
  • C 大致要点
  • 6 复述

用一句话向朋友解释上下文窗口。比较

  • 7 任务 · 5 分钟

使用免费的 Gemini 密钥,粘贴一份长文档并询问第一段。然后把同一份文档重复粘贴两遍再问一次。注意答案从什么时候开始跑偏。

[获取免费的 Gemini API 密钥](/learn/free-gemini-api-key/) 完成

三道快问

从本课的题库中随机抽取;下次会不一样。

完成了吗?

现在:你能向朋友解释它吗?1 2 3 4 5

1 = 完全不能 · 5 = 轻松做到

标记完成 先回答三道快问。

深入了解

来源

译自 aifree.dev 教程栏目 · 信息以原文为准