将 AI 从花哨的演示变成高并发的生产环境，这个过程充满了隐性的技术债务和基础设施挑战。周末原型里调个 OpenAI API，和给 5 万并发用户提供稳定低于 200 毫秒延迟、优雅降级、每次输出都可靠的服务，完全是两码事。这很少是“模型本身的问题”，而是决策、取舍和架构的问题。
在 DigitalOcean Deploy 2026 大会上，DigitalOcean 邀请到了来自 Workato、Hippocratic AI 和 ISMG 的工程负责人。由 DigitalOcean 工程高级经理 Karnik Modi 主持，嘉宾们分享了他们在规模化运行推理负载时积累的经验。
这场讨论聚焦于如何在实时交互中管理 P99 延迟峰值、限制 Agent 权限以防止“管理员”漏洞、以及确保基础设施在生产流量到来之前就已具备策略感知能力。这些洞见超越了模型性能本身，直指可靠的大规模 AI 所需的编排和安全护栏。
为大规模而生的嘉宾们
每位嘉宾所在的公司都处于生产级 AI 的前沿——从一个能跑的原型到一个服务真实用户的可靠系统，这之间的差距本身就是最大的挑战。无论是跨数千个企业应用编排自主 Agent，还是在实时临床语音对话中将延迟视为患者安全问题，抑或是在全球网络安全媒体网络中部署 AI 驱动的智能，这些团队都直面了那些只有规模化之后才会浮现的基础设施、治理和架构决策。
Oscar Wu — Workato 研究实验室 AI 研究技术负责人
Workato 是一个企业集成平台，连接了超过 14,000 个应用，已编排超过一万亿次自动化任务。其 AI 重心已转向 Agentic 编排——即在无需编写代码的情况下，跨企业系统构建、部署和治理能够推理、行动并执行多步工作流的自主 AI Agent。在生产规模下，Workato 的 AI 研究实验室直面 Agent 治理、大规模工具库中的工具选择准确性，以及如何在持续负载下保持推理快速且经济高效等难题。Workato 的 AI 研究实验室在 DigitalOcean 的 AI-Native Cloud 上运行其推理负载，在 NVIDIA Hopper GPU 上实现了推理成本降低 67%、首字延迟加快 77%。
Debo Datta — Hippocratic AI 联合创始人
Hippocratic AI 为医疗保健领域构建以安全为核心的生成式 AI 语音 Agent，承担出院后随访、慢病管理、用药审查和临床试验协调等面向患者的任务。由于每次临床对话可能包含数百轮实时交互，公司的核心基础设施挑战是在大规模下保持亚秒级延迟，确保语音交互富有共情力且自然，而不是像机器人一样生硬。Hippocratic AI 是 DigitalOcean 推理引擎的设计合作伙伴，并在该平台上运行其面向患者的负载，已支撑超过 2000 万次患者交互，延迟降低 40%。
Dan Grosu — ISMG CTO/CISO
ISMG（信息安全媒体集团）运营着 38 家专注于网络安全、IT 和 AI 的媒体机构，服务于全球银行、医疗保健和政府等行业的安全专业人士。该公司构建了自己的企业 AI 平台 Apollo，处理数千页访谈记录和会议内容，生成网络安全市场情报和战略评估。
从“要不要上 AI”到“基础设施扛不扛得住”
嘉宾们一致认为，过去 18 个月里，围绕 AI 的讨论已经变了。光是“有 AI”已经不够了，现在的焦点是你的技术栈是否真的能在大规模下支撑住它。
“AI 不再是竞争优势了。它是竞争性基础设施。问题已经从‘我们该不该上线 AI 功能？’变成了‘我们的企业技术栈真的能跟 AI Agent 配合工作吗？’” — Oscar Wu, Workato
当 AI 变成基础设施，支撑它的 GPU 账单就不再是实验性的开支项，而是核心运营成本。对于 Hippocratic AI 这样聚焦医疗健康的公司，AI 是核心产品，但由于庞大的 GPU 需求，它同时也是个巨大的成本中心。挑战在于如何把这笔成本转化为安全、可靠的收入来源。
10 个请求叫测试，100 万个才叫考验
在受控环境里，一切都看起来很高效率。但嘉宾们指出了那些只有在真实生产流量到来时才会浮现的特定“瓶颈”。
工具一多，Agent 就懵了
当一个 AI Agent 能访问 5 个工具时，它跑得很完美。当它能访问超过 50 个工具时，就开始出问题了。Oscar 指出，Agent 经常会选错工具——因为名字听起来太像了，或者没有一套有治理策略的执行规则来约束它。
延迟的代价，不止是“卡顿”两个字
在 Hippocratic AI，延迟不仅仅是一个技术指标——它还是个患者安全问题。他们以安全为核心的 LLM 处理多轮临床对话，任何延迟都会侵蚀有效护理所需的共情和信任。
“流量低的时候，你根本测不出极限。只有规模化之后，你才会注意到 P99 延迟。如果你在一个有 200 轮对话的临床电话中，延迟不太好的话，每一通电话你都能感受到卡顿。” — Debo Datta, Hippocratic AI
架构是活物，别把它做死了
扩展 AI 推理是一个不断重新设计技术栈的持续循环。随着新架构不断涌现，最终胜出的将是那些基础架构已经为 Agent 就绪、具备策略感知能力、并结构化地建立了信任的团队。
“让 AI 给你带来惊喜。如果你的数据整理好了，你就处于一个绝佳的位置，可以利用 AI 取得巨大的成功。” — Dan Grosu, ISMG
别让你的 Agent 拥有管理员权限
随着推理变得越来越分布式，安全风险也随之上升。ISMG 的 Dan 指出，虽然 AI 是加速交付的“超能力”，但它也带来了新的责任。如果基础设施没有得到妥善管理，每一次发出的提示词都可能是一个安全风险。
Oscar 进一步补充道：“别让你的 AI Agent 成为管理员。连你的实习生都不是管理员。你需要把 Agent 当作用户的按需操作委托，给它限定时间和范围的访问权限。”
Dan 指出，随着 AI 与更多系统集成，安全失效的“爆炸半径”会越来越大。他们迁移到像 DigitalOcean 这样可靠的供应商，正是因为需要可追溯性、日志记录，以及确保所有“操作杆”仍然在人类控制之下的确定性。
最冒险的 AI 策略就是没有 AI 策略
很多决策者仍然对将 AI 深度集成到现有技术栈中犹豫不决。嘉宾们警告说，这种“观望”态度往往会导致后期出现难以逾越的差距。
“AI 不会帮你掩盖你乱七八糟的企业技术栈，它只会放大它。风险不是聊天机器人晚了六个月，而是你在让 AI 安全地干实事的运营模式上晚了两年。” — Oscar Wu, Workato
Dan 补充说，最成功的公司会是那些在真正需要 AI 之前就已经把数据和流程结构化好了的公司。如果你的数据是有组织的，AI 就能立刻产生投资回报。Dan 和他的团队已经构建了 Agent 来创建一个“基于 Agent 的防火墙”，以实时阻止复杂的安全威胁。
无论是 Workato 在数千个企业应用中治理 Agent，还是 Hippocratic AI 在临床语音通话中保持亚秒级延迟，抑或是 ISMG 部署基于 Agent 的防火墙来应对实时威胁，它们的共同主线都是一样的：规模化推理是一个基础设施问题，而不是模型问题。
这正是 DigitalOcean 的 AI-Native Cloud 要解决的问题：一个集推理、计算、数据和 Agent 运行时于一体的统一平台，让团队专注于交付产品，而不是把一堆供应商拼凑在一起。如果上面这些经验教训让你感同身受，那么这套技术栈已经准备好了，随时等你来用。直接联系卓普云AI Droplet，了解更多。
相关产品与选型
