不一定。缓存命中只是复用了部分输入处理,是否省钱还要结合写入费用、实际复用次数和整项任务账单判断。不同模型与接口的规则不能混用。本文依据三家官方文档提出验收方法,未做产品实测,也不承诺固定节省比例。

本文目录
阅读要点
  • 缓存命中量与整项任务费用是两项指标。
  • 按实际模型、接口和计费规则拆开写入与读取。
  • 用相同任务比较质量、总费用与延迟,再决定是否保留。

先看账单口径,不只看命中率

Claude 文档分别列出缓存写入、缓存读取和未缓存输入;其中 input_tokens 不是全部输入量,三类相加才是该口径下的输入总量。文档也将缓存写入与读取分开计价。[1] 因此,看见普通输入字段变小,不能直接当成总费用同比下降。

编辑建议:先按实际模型的价格表把各项用量换算为金额,再汇总一次业务任务中的所有请求。把输出、工具调用以及适用的其他收费项也计入;不要只拿缓存读取的优惠单价乘上全部输入。对外报价时,应说明费用包含哪些环节。

先确认接口,再安排可复用的内容

Gemini 文档区分隐式缓存与显式缓存,并提醒显式缓存的支持范围取决于模型和接口。对隐式缓存,官方建议把较大、共用的内容放在提示词前部,并在较短时间内发送相似前缀的请求;命中量可从响应的用量信息查看。[2] 这类建议是增加命中机会,不能写成每次必然命中。

OpenAI 的提示词缓存指南也按模型区分写入计费、保留控制和缓存门槛,并建议比较缓存读取量、写入量、延迟与总成本。[3] 编辑建议:在项目记录中同时保存模型标识、接口、缓存配置和核价日期,避免把另一代模型的参数或旧教程直接搬进生产配置。

用同一组任务,检查是否值得保留

下面是一份建议采用的比较步骤,尚未在本文中执行。先固定任务样本、模型、工具、输出要求和质量标准;保存原有配置的结果,再调整可复用内容的位置或受支持的缓存配置。记录每次请求的时间、输入、缓存写入、缓存读取(接口未提供的字段注明不可用)、输出、耗时与失败情况,不记录客户原文或凭据。

把首次写入、连续复用以及间隔较长后的请求分组观察。比较单位合格任务的总费用,同时检查首段响应等待与完成时间;若重试、输出长度或任务质量变化,单列说明,不能全部归因于缓存。平台没有关闭缓存的开关时,明确写成不同提示组织方式的比较,不冒称严格的开关对照实验。

把维护成本也留在交接记录里

缓存更适合评估稳定、重复使用的内容。编辑建议:将共用说明与每次变化的问题分开管理;业务规则更新后同步更新版本,不为追求命中率保留过期说明,也不靠无意义填充凑缓存门槛。

最后留下三项决定:谁维护可复用内容、什么变化需要重做比较、费用超过预算由谁处理。只有在任务质量满足要求且总账单改善时,才把这次调整记为有效;一次命中不足以证明长期收益。缓存配置也不能替代客户资料使用授权与数据保留政策检查。

适用条件与限制

截至2026年10月26日查阅的官方资料整理。缓存门槛、字段、费用和保留策略随模型、接口及部署平台变化,执行前应核对对应版本。本文没有调用付费模型做基准测试,比较步骤属于编辑建议,不构成节省比例、响应速度或数据删除时间的保证。

参考资料

  1. [1] Claude Platform:Prompt caching ↗
  2. [2] Gemini API:Context caching ↗
  3. [3] OpenAI API:Prompt caching ↗