为什么第二次调用更便宜?
为什么第二次调用更便宜?
提示缓存 · 构建者 · 5 分钟 · tokens、llm · 前置:[Tokens](/explain/tokens/)
提示缓存会在下一次调用以完全相同的文本开头时,复用提示开头的处理结果。缓存 token 的计费远低于普通输入,但只适用于足够长的前缀,并且在几分钟内再次发送。
开始前:你能向朋友解释这个吗? 1 2 3 4 5
1 = 完全不能 · 5 = 轻松
- 1 先猜
你针对同一份长文档问两个问题。为什么第二次调用可能更便宜?
A 模型记住了你的第一个问题
B 提示开头完全相同,被缓存了
C 第二个答案更短
- 2 看
相同的开头,只计费一次
1 / 5
调用 1 系统提示 + 20 页文档 · 10,000 tokens 问:总结? · 50
调用 2 系统提示 + 20 页文档 · 10,000 tokens 问:风险? · 50
两次调用针对同一份文档。只有末尾的问题不同。
token 数量仅为示意。
两次调用针对同一份长文档。只有末尾的问题变化。
◀ - - - - 重置 ▶
只有完全相同的开头会被缓存:以小幅溢价写入一次,然后在下次调用很快到来且前缀足够长时,以约十分之一的价格读取。
- 前缀是提示的开头:工具、系统提示、文档。提供商会将长前缀的处理结果保留几分钟。如果下一次调用以完全相同的文本开头,这些 token 会按缓存输入计费。因此,把永远不变的内容放在最前面,把问题放在最后。
- 4 你就是模型
你是缓存。对每次调用,判断:命中还是未命中?
第 1 次调用,共 5 次 · Claude Sonnet 4.6,默认缓存
同样的 10,000-token 文档,末尾是新问题,2 分钟后
缓存命中 未命中
Anthropic 提示缓存文档(检查于 2026-10-21)
你就是缓存:命中还是未命中?
我做了——给我看模型
- 5 检查
时间戳或用户名字应该放在提示的哪里?
A 末尾,在稳定部分之后
B 最顶部
C 无所谓
- 6 复述
用一句话向朋友解释提示缓存。比较
- 7 任务 · 5 分钟
使用免费的 Gemini API 密钥,把同一份长文档(超过 4,096 tokens)发给 Gemini 3.8 Flash,末尾附上两个不同的问题,相隔一分钟。读取两个响应中的 usage.total_cached_tokens。然后把末尾的一句话移到最顶部,再试一次。
[试用 Gemini 免费套餐](/offer/google-gemini-developer-api-free-tier/) 完成
三道快问
从本课的题库中随机抽取;下次会不同。
完成了吗?
现在:你能向朋友解释这个吗? 1 2 3 4 5
1 = 完全不能 · 5 = 轻松
标记完成 先回答三道快问。
深入阅读
来源
- https://platform.claude.com/docs/en/build-with-claude/prompt-caching(检查于 2026-10-21;无更新日期):5 分钟缓存写入 1.25×,1 小时 2×,读取为基础输入的 0.1×(Opus/Sonnet 5.5 为 0.05×,Fable/Mythos 5.1 为 0.025×);默认寿命 5 分钟,使用后刷新;Claude Sonnet 4.6 最低 1,024 tokens(按模型为 512–4,096);“缓存命中要求提示片段 100% 相同”;usage cache_read_input_tokens / cache_creation_input_tokens
- https://developers.openai.com/api/docs/guides/prompt-caching(检查于 2026-10-21;无更新日期):默认开启;GPT-5.6 及更高版本最低 1,024 tokens;读取 0.1×,写入 1.25×(默认 30 分钟);usage.input_tokens_details.cached_tokens
- https://ai.google.dev/gemini-api/docs/caching(更新于 2026-10-13,检查于 2026-10-21):Gemini 2.5 及更新版本默认开启隐式缓存;Gemini 3.8 Flash 最低 4,096 tokens;命中记录在 usage.total_cached_tokens;页面未说明免费套餐是否获得缓存命中
- https://ai.google.dev/gemini-api/docs/pricing(更新于 2026-10-19,检查于 2026-10-21):Gemini 3.8 Flash 在免费套餐中输入免费
- token 数量(10,000 + 50)和图中的 1 单位基础价格仅为示意;账单是按 Anthropic 的乘数进行的算术计算。发布于 2026 年 10 月 21 日 · 更新于 2026 年 10 月 21 日