DigitalOcean 推理路由器升级：性能调优，无需编写规则

每隔几周，就会有一款新模型冒出来，号称自己在某方面是业界最强。发布图表摆事实，链接到处传，然后你的团队又得面对那个谁都没法回答的问题：我们该换模型吗？

要得出答案，得花一周时间做评估、做并排测试，外加各种争论。等你的团队终于敲定，下一个挑战者早就上排行榜了。这是一场靠人工赢不了的比赛。而且，发布图表也只讲了一半的故事。它们只展示了模型最强的地方，没展示它不行的地方。

近日， DigitalOcean 升级了 DigitalOcean 推理路由器，让它来替你做出这个决定。不用选预设，不用建自定义路由。只需发送你的提示词，把模型设为 inference-router，按需选个偏好就行。路由器会把每个请求发给在这项任务上表现最好的模型，而且都经过了公开基准测试的验证。

自动为任务匹配对的模型

在底层，推理路由器会调用整个 DigitalOcean 模型目录：从 Anthropic 和 OpenAI 的前沿模型，到 Kimi、GLM 和 DeepSeek 等开源模型，全都在一次请求的范围之内。每个新模型都要经过同样的测试。达标的模型才会被加入路由器。

而且，由于每个请求都会发给最适合该任务的模型，你就不用再为那些更精简的模型也能干好的活儿，去付前沿模型的价格。在我们针对软件工程、推理和 Agent 任务的内部测试中，推理路由器的准确率高于 Claude Opus 5.5 和 GPT-6 Astra，成本却低了大约 22%。

有了推理路由器，你不用再：

每次有新模型发布就跑一遍评估
阵容一变就得重写路由规则
换个模型还要重新部署
专门开会讨论“我们该换模型吗？”

DigitalOcean 云控制台的推理路由器“快速入门”页面，展示了每个用例背后的基准测试、路由器与最佳单模型相比的得分，以及它在哪些模型之间做选择。每当我们加入新模型或重新跑评估，它都会更新。

下面是一些路由器背后的模型，在我们所使用的部分基准测试中的得分：

images (4).jpeg

注：图中得分来自 DigitalOcean 截至 2026 年 10 月 12 日的内部评估。结果会因配置而异，也可能与公开排行榜不同。

它是怎么工作的

我们在各种各样的任务上对模型进行测量，评估它们完成得怎么样，同时还会考量成本和延迟。这些证据决定了每个任务由谁胜出。

当一个请求到达时，路由模型会读取它，匹配到正确的任务，再结合你的偏好权衡，挑出最合适的模型。路由器天生具备缓存感知能力，它懂得除非切换模型能回本，否则就保持在同一个模型上以复用缓存。

因为所有繁重的工作都在你的请求到达之前就完成了，所以你不用手动管理配置。当新发布的模型在特定任务上表现更好时，你会自动享受到这个好处。

路由器最初是在以下几类任务上训练的：

软件工程
Agent 工作流
通用智能与推理

虽然推理路由器在公开基准和我们内部评估中得分都不错，但这并不能说明它在你的任务上表现如何。所以，虽然我们一开始提供的是一般优化的路由器，但很快你就能带入自己的评分标准。带上你的评估集，你对成功的定义将决定哪个模型胜出。

设置一个偏好即可

推理路由器由 DigitalOcean 端到端托管，所以大多数请求都不需要你提供任何输入。

当你想影响选择时，可以用 budget（预算）来引导路由器偏向低成本模型，或者在成败攸关时用 quality（质量）。不过，我们认为 routing_preference: balanced（默认值）对大多数客户来说就够了。

偏好只是第一个旋钮。很快，你自己的评估集也将能引导路由器，当有新模型发布时，我们会重新跑一遍，让你始终保持在最佳选择上。想要抢先体验？通过 DigitalOcean 控制台的快速入门页面申请吧。

开始尝试吧

推理路由器今天已开放公测。公测期间使用不收取额外费用；你只需为处理每个请求的模型付费。

在 DigitalOcean 控制台中导航到 Inference Router。
如果尚未配置，请生成一个模型访问密钥。
将 API 调用发送到 https://inference.do-ai.run/v1，并将模型设置为 inference-router。

curl https://inference.do-ai.run/v1/chat/completions \
  -H "Authorization: Bearer $MODEL_ACCESS_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inference-router",
    "preference": "balanced",
    "messages": [{"role": "user", "content": "Fix the failing test in ..."}]
  }'

最后，如果你在使用过程中遇到问题，可直接咨询 DigitalOcean 中国区战略合作伙伴卓普云（aidroplet.com）。