# OpenAI如何让ChatGPT在代码智能体编码重写负载配置文件时保持快速运行

OpenAI 的一场 QCon 性能工程演讲揭示了 ChatGPT 延迟目标背后的基础设施决策——以及产品从聊天转向智能体如何颠覆了所有假设。

简明扼要： Martin Spier（OpenAI）在 InfoQ 发表的性能工程演讲记录了 ChatGPT 基础设施如何随着产品从简单聊天转向具身编码工作流而进行调整。简短来说：具身请求与聊天请求截然不同，所有为短轮次对话优化的系统都需要重新思考。

核心挑战在于请求形态。具身编码会话更长，会在等待工具调用结果时中断，并在为对话节奏设计的推理后端上产生突发负载模式。团队的应对方案包括自适应流式传输、推测缓存以及按会话负载均衡——这些都会在请求时考虑预期上下文长度，而非仅在调度时。

[内部机制] Spier 表示，具身工作流在 ChatGPT 的规模上显著增加了代码变更量。延迟敏感点集中在工具调用边界，而非生成速度——这颠覆了聊天时代的优化优先级。工具解析的冷启动延迟成为关键路径，而非 token 生成吞吐量。

关键结论： 2023 年 ChatGPT 的 SLA 假设和基础设施模式不适用于 2026 年的 ChatGPT Work。基于 OpenAI API 或类似平台构建的团队需将其请求模式与具身负载特征（突发形态、上下文长度分布及工具调用频率）对齐，而非平均聊天延迟基准。