Migrer un agent prod sur GPT-5.6 : 2,2× plus rapide, 27 % moins cher - le vrai post-mortem

In plain terms

L'équipe de ploy.ai a migré un agent en production de GPT-5.4 vers GPT-5.6 et publié les chiffres bruts : 2,2× de latence en moins, 27 % de coût en moins, +8 pts de taux de complétion. Le post-mortem est plus utile que les benchmarks marketing.

Le fait

Publié le 12 juillet 2026 sur ploy.ai/blog, le writeup couvre une migration réelle : un agent commercial (recherche + qualification + email) qui traite ~40k requêtes/jour. Bascule progressive sur 5 jours, A/B côté harness, télémétrie complète.

Analyse

Trois enseignements concrets valent d'être retenus :

1. Le gain de latence vient surtout du modèle, pas du harness. Une même trace d'agent tourne 2,2× plus vite en médiane, 3,1× en P99. C'est cohérent avec les annonces OpenAI sur l'optim de serving (speculative decoding + KV cache reuse).
2. Le gain de coût est en partie illusoire. Le prix par token a baissé, mais la nouvelle version tend à générer des sorties plus longues (~+18 %). Le -27 % net vient d'abord du raccourcissement des rounds d'agent (moins d'itérations), pas du prix par token seul.
3. Le +8 pts de complétion vient d'un meilleur tool-calling. Sur les workflows multi-étapes, GPT-5.6 se trompe moins d'outil et retente moins souvent. C'est un gain de harness induit par le modèle, pas un gain d'intelligence brute.

Under the hood

Le harness a nécessité trois modifs pour la bascule : (1) ajuster le prompt système (moins de coaching explicite car le modèle en a moins besoin), (2) durcir le parser des tool calls (nouveau format d'appel plus strict), (3) recalibrer les seuils de retry (moins d'échecs → seuil abaissé).

Le budget compute total ne baisse que si vous fixez la latence cible - sinon la tentation est d'en profiter pour ajouter des étapes.

Scénarios

• Adoption large (60 %) : la plupart des agents prod passent sur 5.6 d'ici Q4 2026, motivés par le triptyque latence/coût/tool-calling.
• Adoption partielle (30 %) : ceux qui ont un modèle fine-tuné 5.4 attendent le pipeline de fine-tuning 5.6.
• Attentisme (10 %) : ceux qui ont un fort verrou vendor (Azure early tier, contrats annuels) attendent le renouvellement.

So what

Pour une équipe qui prépare la bascule : les 5 jours d'A/B côté harness sont non-négociables. Les gains sont réels mais dépendent de votre harness - pas de shortcut. Pour un dirigeant : le vrai KPI est coût par workflow réussi, pas coût par token. La différence peut être un facteur 2.

À surveiller

Les post-mortem des équipes ayant migré vers Claude Cowork ou vers Gemini 3 - les baselines objectives manquent encore. Les prochains fine-tuning pipelines 5.6 (annoncés « été » par OpenAI).