Migrating a production agent to GPT-5.6: 2.2× faster, 27% cheaper - the real post-mortem

In plain terms

Das Team von ploy.ai hat einen Agenten von GPT-5.4 auf GPT-5.6 in der Produktion migriert und die Rohdaten veröffentlicht: 2,2× weniger Latenz, 27 % weniger Kosten, +8 Punkte Abschlussrate. Der Post-Mortem-Bericht ist nützlicher als Marketing-Benchmarks.

Le fait

Veröffentlicht am 12. Juli 2026 auf ploy.ai/blog, behandelt der Writeup eine echte Migration: ein Verkaufsagent (Suche + Qualifikation + E-Mail), der ~40k Anfragen/Tag bearbeitet. Schrittweise Umstellung über 5 Tage, A/B-Seite Harness, vollständige Telemetrie.

Analyse

Drei konkrete Erkenntnisse sind wertvoll:

1. Die Latenzverbesserung kommt hauptsächlich vom Modell, nicht vom Harness. Eine identische Agentenspur läuft 2,2× schneller im Median, 3,1× im P99. Dies ist konsistent mit den Ankündigungen von OpenAI zur Serving-Optimierung (spekulatives Decoding + KV-Cache-Wiederverwendung).
2. Die Kosteneinsparung ist teilweise illusorisch. Der Preis pro Token ist gesunken, aber die neue Version neigt dazu, längere Ausgaben (~+18 %) zu generieren. Die Nettoersparnis von -27 % kommt hauptsächlich aus der Verkürzung der Agenten-Runden (weniger Iterationen), nicht nur aus dem Preis pro Token.
3. Die +8 Punkte Abschlussrate kommt von einem besseren Tool-Calling. Bei mehrstufigen Workflows macht GPT-5.6 weniger Fehler beim Werkzeug und versucht seltener erneut. Dies ist ein Gewinn des Harness, induziert durch das Modell, nicht ein Gewinn an roher Intelligenz.

Under the hood

Der Harness erforderte drei Änderungen für die Umstellung: (1) Anpassung des Systemprompts (weniger explizites Coaching, da das Modell dies weniger benötigt), (2) Härtung des Parsers für Tool-Calls (neues, strengeres Aufrufformat), (3) Rekalibrierung der Retry-Schwellen (weniger Fehler → Schwelle gesenkt).

Das Gesamt-Compute-Budget sinkt nur, wenn Sie die Ziel-Latenz festlegen - andernfalls besteht die Versuchung, dies zu nutzen, um zusätzliche Schritte hinzuzufügen.

Scénarios

• Breite Einführung (60 %): Die meisten Produktionsagenten wechseln bis Q4 2026 zu 5.6, motiviert durch das Triptychon Latenz/Kosten/Tool-Calling.
• Teilweise Einführung (30 %): Diejenigen, die ein feinabgestimmtes Modell 5.4 haben, warten auf die Feinabstimmungs-Pipeline 5.6.
• Abwarten (10 %): Diejenigen, die eine starke Vendor-Sperre haben (Azure Early Tier, Jahresverträge), warten auf die Erneuerung.

So what

Für ein Team, das die Umstellung vorbereitet: Die 5 Tage A/B-Seite Harness sind unverhandelbar. Die Gewinne sind real, aber abhängig von Ihrem Harness - keine Abkürzungen. Für einen Leiter: Die echte KPI ist Kosten pro erfolgreicher Workflow, nicht Kosten pro Token. Der Unterschied kann ein Faktor 2 sein.

À surveiller

Die Post-Mortem-Berichte der Teams, die zu Claude Cowork oder zu Gemini 3 migriert sind - die objektiven Baselines fehlen noch. Die nächsten Feinabstimmungs-Pipelines 5.6 (für den Sommer angekündigt von OpenAI).