Como a OpenAI mantém o ChatGPT rápido enquanto o desenvolvimento orientado por agentes reescreve o perfil de carga

A palestra de engenharia de desempenho da QCon da OpenAI revela as decisões de infraestrutura por trás das metas de latência do ChatGPT — e como a mudança do produto de chat para agente alterou todas as suposições.

Em termos simples: Uma palestra de engenharia de desempenho por Martin Spier (OpenAI), publicada na InfoQ, documenta como a infraestrutura do ChatGPT se adaptou à medida que o produto evoluiu de um simples chat para fluxos de trabalho de codificação agentiva. A versão curta: solicitações agentivas não se parecem com solicitações de chat, e tudo otimizado para conversas curtas precisou ser repensado.

O desafio central é a forma das solicitações. Sessões de codificação agentiva são mais longas, elas pausam no meio aguardando resultados de chamadas de ferramentas e criam padrões de carga intermitente nos backends de inferência projetados para o ritmo conversacional. A resposta da equipe envolve streaming adaptativo, cache especulativo e balanceamento de carga por sessão que considera o comprimento esperado do contexto no momento da solicitação — não apenas no momento do agendamento.

[Por baixo dos panos] Fluxos de trabalho agentivos aumentam drasticamente o volume de alterações de código na escala do ChatGPT, segundo Spier. A sensibilidade à latência concentra-se nas fronteiras de chamadas de ferramentas, em vez da velocidade de geração — o que inverte a prioridade de otimização em relação à era do chat. A latência de cold-start na resolução de ferramentas torna-se o caminho crítico, não o throughput de geração de tokens.

Portanto: As suposições de SLA e os padrões de infraestrutura do ChatGPT de 2023 não se aplicam ao ChatGPT Work de 2026. Equipes que constroem sobre APIs da OpenAI ou plataformas semelhantes precisam modelar seus padrões de solicitação contra perfis de carga agentiva — formato de rajada, distribuição do comprimento do contexto e frequência de chamadas de ferramentas — e não benchmarks de latência média de chat.