QCon AI 波士顿:从提示词到平台、工具和评估 - 实践验证了这一假设

持续追踪 : Harness Ops : post-mortems et bench des agents en prod· 连载 8/17

手工艺 Jul 17, 2026 at 14:197加入收藏

QCon AI 波士顿:从提示词到平台、工具和评估 - 实践验证了这一假设
插图 : Léa Fontaine

会议QCon AI波士顿捕捉到转折:AI生产从提示词的事务转变为平台、harness和评估的事务。这是一个趋势的汇聚,而非一时的潮流。

用简单的话来说

InfoQ(2026年7月17日)对QCon AI Boston的回顾可以概括为一句话:将AI推向生产环境的团队不再讨论提示词。他们讨论的是内部平台、harness(运行代理的工具、内存和恢复的编排器)和持续评估。这是第二波浪潮——不再是“它回答得很好”,而是“它在凌晨3点能运行”。

背景

harness-ops线程(Grok CLI事后分析,#1184;令牌纪律,#1135;Malykhin关于Java 1.5,#1175;2026年MCP安全现状,#1054)记录了个别团队的相同转变。QCon AI Boston将这些事后分析的共同点正式化:提示词不再是工作的地方。它已经成为更大系统中的一个输入,该系统有自己的运维纪律。

这意味着什么

平台。 团队不再直接编写其代理。它们构建一个内部层——模板、连接器、预算、可观测性——在其上方,每个业务团队都可以接入其用例。这是与2015-2020年内部云相同的轨迹:首先是局部的痛苦,然后是平台。

Harnesses。 编排器成为关键工件——通常比模型的选择更重要。无需重写应用程序的模型迁移(Anthropic提供其说明书,#1135),工具调用仪表化,幂等重试,范围内存。

评估。 评估不再是发布前的一次性操作。这是一个持续的流水线:黄金测试集、LLM-as-judge在生产环境中、自动检测的回归。发布流程更像是后端的CI而不是产品演示。

幕后

隐藏的信号是组织性的。在项目失败的地方,几乎不再是模型的问题——而是缺乏发布纪律(Uber预算耗尽,微软许可证被切断,#1023)。在项目成功的地方,一个新角色出现,可以称为“harness工程师”:更像SRE而不是ML,更像产品而不是基础设施。

那么呢

对于2026年的CTO来说,战略问题不再是“哪个模型”,而是“哪个内部代理平台”。供应商锁定发生在这个层面:您的harness承载的业务逻辑越多,它就越成为资产——并且底层模型就越可互换。这是今年对那些担心前沿依赖性的人来说的唯一好消息。

后续:成熟的模型上下文协议(#1054)、CFO之前的预算工具(#1023)以及专用平台团队的结构化。

Resources

本文由人工智能撰写,并经人工编辑审核。

我们的编辑部
Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

SSHMonitoringAI Ops
Get early access
这篇文章对您有帮助吗?

16 人赞了这篇文章

M
Mateo Rossi软件架构师
🇨🇳 架构师,拥有两个十年的生产系统经验。
分享:
评论 (7)

登录后即可参与讨论。

Dr. J. 17 Jul 2026 · 17:45

Interesting shift, but how will these platforms handle bias in AI models? Will they be transparent about their evaluation methods?

BookWorm88 17 Jul 2026 · 20:16

Great question! Transparency in evaluation methods is crucial, but it's also important to consider how these platforms will handle real-time bias mitigation.

EcoWarrior 17 Jul 2026 · 17:39

What about the environmental impact of these AI platforms? Who's measuring their carbon footprint and ensuring sustainability?

Emma_London 17 Jul 2026 · 17:34

I wonder how this shift will affect the accessibility of AI tools for those in developing countries with limited infrastructure.

J.P.R. 3 17 Jul 2026 · 10:07

I agree, but what about data privacy and security on these platforms? Who's accountable for leaks or misuse?

TechSavvy47 17 Jul 2026 · 09:59

This shift seems inevitable, but I wonder how much control users will have over the platforms and harnesses.

FoodieChicago 17 Jul 2026 · 09:56

This transition makes sense, but I'm curious about the learning curve for non-tech users. Will these platforms be accessible enough?

sandrine.b 17 Jul 2026 · 09:36

Interesting perspective. I wonder how this shift will impact smaller artists like me who rely on simple prompts.

事件时间线

Harness Ops : post-mortems et bench des agents en prod

  1. 1迁移生产代理到 GPT-5.6:速度提升 2.2 倍,成本降低 27% - 真实事后分析13/07/2026
  2. 233k vs 7k 令牌:Claude Code 和 OpenCode 的开销对比揭示了什么13/07/2026
  3. 3Google Genkit v.Agents:分离轮次和人类在回路功能进入预览阶段14/07/2026
  4. 4三个扣环在一件防水风衣上:真实的特工解剖14/07/2026
  5. 5「循环工程」:新兴学科还是对定时任务的重新包装?15/07/2026
  6. 6基准测试Stripe:代理商连接API,但不验证它们15/07/2026
  7. 7考古学家及其副驾驶:马尔欣训练LLM使用Java 1.516/07/2026
  8. 8QCon AI 波士顿:从提示词到平台、工具和评估 - 实践验证了这一假设17/07/2026
  9. 9超越grep:基于上下文的丰富AI编码套件的论文20/07/2026
  10. 10InAgent 在 OSWorld 上达到 90.2%:计算机使用代理的差距在中国堆栈中缩小03/08/2026
  11. 11Wallfacer:一个为Claude Code和多智能体工作流构建的终端会话管理器06/08/2026
  12. 12Claude Code 跨会话消息传递功能发布——代理间协调首次拥有原生原语08/08/2026
  13. 13AI 代理技能正在标准化:Codex 和 VS Code 已加入,Claude 尚未加入10/08/2026
  14. 14AI 代理会撒谎、欺骗和偷窃——这正在阻碍其采用速度,比任何基准测试都更甚。13/08/2026
  15. 15上下文工程:为什么300个精心选择的标记比10万个嘈杂的标记更有效14/08/2026
  16. 16OneCLI (YC S26) 发布了一个 OSS 沙盒代理框架——团队规模的 Claude Code 解决方案19/08/2026
  17. 17光标起源与代理版本控制问题:为什么 Git 从未为此而设计25/08/2026
Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

Get early access
主题
浏览
信息