不再为重复 Token 买单：DigitalOcean 提示词缓存正式上线，Agent 上下文最高省 90%

DigitalOcean 无服务器推理（Serverless Inference）的提示词缓存（Prompt Caching）现已正式可用，开放模型目录中所有受支持的模型均可使用，无需修改现有请求代码。缓存输入 Token 的费用最高可降低 90%，首 Token 延迟最高可降低 80%。

Agent 不会每次执行任务都从头开始。每次发起新请求时，它都会在已有上下文的末尾追加上一次工具调用的结果，而这个上下文中早已包含系统提示词、工具定义、读取过的所有文件，以及此前执行的每一步操作及其结果。在 DigitalOcean 无服务器推理中，Agent 发送的输入 Token 有超过 90% 都是模型此前已经处理过的内容。提示词缓存可以根据模型不同，将这些 Token 的费用最高降低 90%，但前提是请求能够到达保存了对应缓存的推理副本。如果没有考虑缓存状态的路由机制，重复请求就只能由负载均衡器随机分配到某个副本；一旦请求被发送到错误的副本，你就需要为已经发送过的 Token 再次支付全额费用。

DigitalOcean 的缓存亲和路由（Cache Affinity）会将每个请求发送到已经缓存了大部分提示词内容的推理副本。你不需要管理 Session ID：同一段对话的第二条消息本身就包含第一条消息的内容，因此路由器可以自动识别匹配的缓存。在 DigitalOcean 于 2026 年 10 月进行的测试中，主力开放模型的缓存命中率达到了 85%–95%。

缓存亲和路由如何让缓存命中率更加稳定

缓存的上下文存储在某个特定的推理副本上。如果下一次请求被发送到其他副本，由于那个副本没有对应的缓存，即使提示词中有大量重复内容，你仍然需要支付全额费用。无服务器推理的流量通常分布在多个副本上。如果没有机制将重复请求引导回正确的副本，缓存能否命中基本就只能碰运气。

在公测（Public Preview）期间，所有用户都可以使用提示词缓存，也确实能享受折扣，但能否命中缓存，很大程度上取决于运气。缓存亲和路由解决了这个问题。对于每个请求，路由器都会检查哪些副本已经缓存了该请求的大部分提示词内容，先筛选出这些已预热的副本，再从中选择当前负载最低的副本来处理请求。如果还没有任何副本缓存相关内容，路由器就会退回到整个副本池进行负载均衡。

你同样不需要管理 Session ID：同一段对话的第二条消息已经包含第一条消息的内容，路由器能够自动识别缓存匹配，并将请求发送到已有缓存的副本。

在 DigitalOcean 的内部测试中，针对主力模型，缓存亲和路由将缓存命中率从 30% 多提升到了 90% 以上。GLM-5.3 的缓存命中率从个位数提升至 88%–95%；在 Kimi K3 的基准测试中，前缀复用率在较短提示词下达到 84%，在较长提示词下则达到 92% 以上。**

核心功能一览

正式可用版本新增了两项开发者控制功能，扩大了上下文窗口，并提供了一个用于查看缓存效果的仪表盘。

在同一账户内隔离不同流量

DigitalOcean 默认会在不同账户之间隔离缓存。prompt_cache_key 则允许你在自己的账户内部进一步区分流量。例如，你可以将法务团队使用的缓存上下文与市场团队的缓存分开，也可以将不同终端客户的缓存相互隔离。

使用不同 Key 的请求不会共享缓存，但每个分组仍然可以正常使用缓存。该参数是可选的，也不会将请求固定到某个特定的推理副本。

POST https://inference.do-ai.run/v1/chat/completions

{

  "model": "kimi-k3",

  "messages": [ "... your system prompt, tools, and conversation ..." ],

  "prompt_cache_key": "tenant-4821-support-agent"

}