迁移生产代理到 GPT-5.6:速度提升 2.2 倍,成本降低 27% - 真实事后分析

持续追踪 : Harness Ops : post-mortems et bench des agents en prod· 连载 1/17

构建 Jul 13, 2026 at 02:196加入收藏

迁移生产代理到 GPT-5.6:速度提升 2.2 倍,成本降低 27% - 真实事后分析
插图 : Léa Fontaine

第一个边界到边界的迁移数字回报。对于那些准备下一次切换的人来说,这是一个典型的案例。

简单来说

ploy.ai团队将GPT-5.4的代理迁移到生产环境的GPT-5.6,并发布了原始数据:延迟减少2.2倍,成本减少27%,完成率提高8个百分点。事后分析比营销基准更有用。

事实

2026年7月12日在ploy.ai/blog上发布的文章涵盖了一个真实的迁移过程:一个商业代理(搜索+资格审查+电子邮件)每天处理约40,000个请求。在5天内逐步切换,A/B测试harness,完整的遥测数据。

分析

有三个具体的教训值得记住:

  1. 延迟的提升主要来自模型,而不是harness。相同的代理跟踪在中位数上运行速度提高了2.2倍,在P99上提高了3.1倍。这与OpenAI关于serving优化的公告一致(推测解码+KV缓存重用)。
  2. 成本的提升部分是虚幻的。每个token的价格降低了,但新版本倾向于生成更长的输出(约+18%)。净-27%主要来自代理回合的缩短(迭代次数减少),而不是单个token的价格。
  3. 完成率的提高来自更好的工具调用。在多步骤工作流中,GPT-5.6犯的工具错误更少,重试次数也更少。这是一个由模型引起的harness收益,而不是原始智能的提高。

幕后

harness需要三个修改才能切换:(1)调整系统提示(需要更少的明确指导,因为模型需要更少),(2)加强工具调用的解析器(新的调用格式更严格),(3)重新校准重试阈值(失败减少→阈值降低)。

如果不固定目标延迟,总计算预算不会降低——否则,诱惑是利用它来添加步骤。

场景

  • 广泛采用(60%):大多数生产代理将在2026年Q4之前切换到5.6,动力来自延迟/成本/tool-calling的三重奏。
  • 部分采用(30%):那些有微调的5.4模型的人在等待5.6的微调流水线。
  • 观望(10%):那些有强大供应商锁定(Azure早期层,年度合同)的人在等待续订。

所以呢

对于准备切换的团队:harness的A/B测试5天是不可协商的。收益是真实的,但取决于你的harness——没有捷径。对于管理者:真正的KPI是每个成功工作流的成本,而不是每个token的成本。差异可能是两倍。

需要关注

迁移到Claude Cowork或Gemini 3的团队的事后分析——缺乏客观基线。即将到来的5.6微调流水线(OpenAI宣布“夏季”)。

Resources

本文由人工智能撰写,并经人工编辑审核。

我们的编辑部
Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

SSHMonitoringAI Ops
Get early access
这篇文章对您有帮助吗?

4 人赞了这篇文章

A
Aiko Nakamura高级软件工程师
🇨🇳 高级工程师,大规模平台。撰写关于用AI构建的内容。
分享:
评论 (6)

登录后即可参与讨论。

ArtLover99 13 Jul 2026 · 13:31

Est-ce que la migration a eu un impact sur les cas limites ? Avez-vous des retours là-dessus ?

EcoWarrior99 13 Jul 2026 · 05:33

Intéressant, mais qu'en est-il de la maintenance à long terme ?

curio_usa 13 Jul 2026 · 05:28

Est-ce que cette migration a permis de réduire la consommation d'énergie ?

TechSavvy 13 Jul 2026 · 05:25

Intéressant ! Et l'équipe, ça a été compliqué à prendre en main ?

1
Alex_LDN 13 Jul 2026 · 05:19

Intéressant, mais est-ce que ça marche aussi pour les plus gros modèles ou juste pour GPT-5.6 ?

EcoWarrior 13 Jul 2026 · 04:51

Est-ce qu'on a calculé l'impact écologique de la migration vers GPT-5.6 ?

2
事件时间线

Harness Ops : post-mortems et bench des agents en prod

  1. 1迁移生产代理到 GPT-5.6:速度提升 2.2 倍,成本降低 27% - 真实事后分析13/07/2026
  2. 233k vs 7k 令牌:Claude Code 和 OpenCode 的开销对比揭示了什么13/07/2026
  3. 3Google Genkit v.Agents:分离轮次和人类在回路功能进入预览阶段14/07/2026
  4. 4三个扣环在一件防水风衣上:真实的特工解剖14/07/2026
  5. 5「循环工程」:新兴学科还是对定时任务的重新包装?15/07/2026
  6. 6基准测试Stripe:代理商连接API,但不验证它们15/07/2026
  7. 7考古学家及其副驾驶:马尔欣训练LLM使用Java 1.516/07/2026
  8. 8QCon AI 波士顿:从提示词到平台、工具和评估 - 实践验证了这一假设17/07/2026
  9. 9超越grep:基于上下文的丰富AI编码套件的论文20/07/2026
  10. 10InAgent 在 OSWorld 上达到 90.2%:计算机使用代理的差距在中国堆栈中缩小03/08/2026
  11. 11Wallfacer:一个为Claude Code和多智能体工作流构建的终端会话管理器06/08/2026
  12. 12Claude Code 跨会话消息传递功能发布——代理间协调首次拥有原生原语08/08/2026
  13. 13AI 代理技能正在标准化:Codex 和 VS Code 已加入,Claude 尚未加入10/08/2026
  14. 14AI 代理会撒谎、欺骗和偷窃——这正在阻碍其采用速度,比任何基准测试都更甚。13/08/2026
  15. 15上下文工程:为什么300个精心选择的标记比10万个嘈杂的标记更有效14/08/2026
  16. 16OneCLI (YC S26) 发布了一个 OSS 沙盒代理框架——团队规模的 Claude Code 解决方案19/08/2026
  17. 17光标起源与代理版本控制问题:为什么 Git 从未为此而设计25/08/2026
Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

Get early access
主题
浏览
信息