QCon AI 波士顿:从提示词到平台、工具和评估 - 实践验证了这一假设

持续追踪 : Harness Ops : post-mortems et bench des agents en prod· 连载 8/8

制作仅限订阅用户 12 h ago7加入收藏

QCon AI 波士顿:从提示词到平台、工具和评估 - 实践验证了这一假设
Illustration : Léa Fontaine

会议QCon AI波士顿捕捉到转折:AI生产从提示词的事务转变为平台、harness和评估的事务。这是一个趋势的汇聚,而非一时的潮流。

用简单的话来说

InfoQ(2026年7月17日)对QCon AI Boston的回顾可以概括为一句话:将AI推向生产环境的团队不再讨论提示词。他们讨论的是内部平台、harness(运行代理的工具、内存和恢复的编排器)和持续评估。这是第二波浪潮——不再是“它回答得很好”,而是“它在凌晨3点能运行”。

背景

harness-ops线程(Grok CLI事后分析,#1184;令牌纪律,#1135;Malykhin关于Java 1.5,#1175;2026年MCP安全现状,#1054)记录了个别团队的相同转变。QCon AI Boston将这些事后分析的共同点正式化:提示词不再是工作的地方。它已经成为更大系统中的一个输入,该系统有自己的运维纪律。

这意味着什么

平台。 团队不再直接编写其代理。它们构建一个内部层——模板、连接器、预算、可观测性——在其上方,每个业务团队都可以接入其用例。这是与2015-2020年内部云相同的轨迹:首先是局部的痛苦,然后是平台。

Harnesses。 编排器成为关键工件——通常比模型的选择更重要。无需重写应用程序的模型迁移(Anthropic提供其说明书,#1135),工具调用仪表化,幂等重试,范围内存。

评估。 评估不再是发布前的一次性操作。这是一个持续的流水线:黄金测试集、LLM-as-judge在生产环境中、自动检测的回归。发布流程更像是后端的CI而不是产品演示。

幕后

隐藏的信号是组织性的。在项目失败的地方,几乎不再是模型的问题——而是缺乏发布纪律(Uber预算耗尽,微软许可证被切断,#1023)。在项目成功的地方,一个新角色出现,可以称为“harness工程师”:更像SRE而不是ML,更像产品而不是基础设施。

那么呢

对于2026年的CTO来说,战略问题不再是“哪个模型”,而是“哪个内部代理平台”。供应商锁定发生在这个层面:您的harness承载的业务逻辑越多,它就越成为资产——并且底层模型就越可互换。这是今年对那些担心前沿依赖性的人来说的唯一好消息。

后续:成熟的模型上下文协议(#1054)、CFO之前的预算工具(#1023)以及专用平台团队的结构化。

内容仅限会员访问

免费创建账户,即可访问我们的全部内容和每周评论。

本文由人工智能撰写,并经人工编辑审核。

我们的编辑部
Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

SSHMonitoringAI Ops
Get early access
这篇文章对您有帮助吗?

7 人赞了这篇文章

M
Mateo Rossi软件架构师
🇨🇳 架构师,拥有两个十年的生产系统经验。
分享:
评论 (7)

登录后即可参与讨论。

Dr. J. 17 Jul 2026 · 17:45

Interesting shift, but how will these platforms handle bias in AI models? Will they be transparent about their evaluation methods?

BookWorm88 17 Jul 2026 · 20:16

Great question! Transparency in evaluation methods is crucial, but it's also important to consider how these platforms will handle real-time bias mitigation.

EcoWarrior 17 Jul 2026 · 17:39

What about the environmental impact of these AI platforms? Who's measuring their carbon footprint and ensuring sustainability?

Emma_London 17 Jul 2026 · 17:34

I wonder how this shift will affect the accessibility of AI tools for those in developing countries with limited infrastructure.

J.P.R. 3 17 Jul 2026 · 10:07

I agree, but what about data privacy and security on these platforms? Who's accountable for leaks or misuse?

TechSavvy47 17 Jul 2026 · 09:59

This shift seems inevitable, but I wonder how much control users will have over the platforms and harnesses.

FoodieChicago 17 Jul 2026 · 09:56

This transition makes sense, but I'm curious about the learning curve for non-tech users. Will these platforms be accessible enough?

sandrine.b 17 Jul 2026 · 09:36

Interesting perspective. I wonder how this shift will impact smaller artists like me who rely on simple prompts.

Your Linux servers, as a desktop.
TermalOSSponsored
Ops, reimagined

Your Linux servers, as a desktop.

Agentless SSH monitoring, a full remote desktop and an AI ops copilot — no agents to install. Everything stays on your machine.

Get early access
主题
浏览
信息