QCon AI Boston: « prompts → platforms, harnesses, evals » - das Terrain bestätigt die These

In einfachen Worten

Die Zusammenfassung von InfoQ (17. Juli 2026) zur QCon AI Boston lässt sich in einem Satz zusammenfassen: Teams, die KI in die Produktion bringen, sprechen nicht mehr über Prompts. Sie sprechen über interne Plattformen, Harnesses (den Orchestrator, der den Agenten mit Tools, Speicher und Wiederholungen ausführt) und kontinuierliche Bewertungen. Es ist die zweite Welle - nicht mehr "es antwortet gut", sondern "es funktioniert um 3 Uhr morgens".

Kontext

Der Thread harness-ops (Post-Mortems Grok CLI, #1184; Token-Disziplin, #1135; Malykhin über Java 1.5, #1175; State of MCP Security 2026, #1054) hat denselben Wechsel auf Seiten der einzelnen Teams dokumentiert. QCon AI Boston formalisiert, was diese Post-Mortems jeweils für sich gesagt haben: Der Prompt ist nicht mehr der Arbeitsort. Er ist zu einer Eingabe in ein größeres System geworden, mit seiner eigenen Ops-Disziplin.

Was das bedeutet

Plattformen. Die Teams hören auf, ihren Agenten direkt zu schreiben. Sie bauen eine interne Schicht - Templates, Connector, Budgets, Observability - auf, über der jedes Fachteam seinen Fall anpasst. Es ist dieselbe Entwicklung wie beim internen Cloud 2015-2020: Zuerst der lokale Schmerz, dann die Plattform.

Harnesses. Der Orchestrator wird zum kritischen Artefakt - oft wichtiger als die Modellauswahl. Modellmigration ohne Neu schreiben der App (Anthropic liefert seine Anleitung, #1135), instrumentiertes Tool-Calling, idempotente Retries, Memory Scoping.

Bewertungen. Die Bewertung ist kein einmaliger Vorgang mehr vor dem Release. Es ist ein kontinuierlicher Pipeline: Golden Test-Sets, LLM-as-Judge in der Produktion, automatisch erfasste Regressionen. Der Release-Prozess ähnelt eher dem CI eines Backends als einer Produktdemo.

Under the hood

Das versteckte Signal ist organisatorischer Natur. Dort, wo Projekte scheitern, ist es fast nie mehr das Modell - es ist das Fehlen einer Release-Disziplin (Uber-Budgets erschöpft, Microsoft-Lizenzen gekappt, #1023). Dort, wo sie erfolgreich sind, entsteht eine neue Rolle, die man "Harness Engineer" nennen kann: mehr SRE als ML, mehr Produkt als Infrastruktur.

So what

Für einen CTO im Jahr 2026 ist die strategische Frage nicht mehr "welches Modell", sondern "welche interne Agentenplattform". Der Vendor Lock-in spielt sich auf dieser Ebene ab: Je mehr Ihr Harness Ihre Geschäftslogik trägt, desto mehr wird er zum Vermögenswert - und desto austauschbarer wird das zugrunde liegende Modell. Das ist die einzige gute Nachricht des Jahres für diejenigen, die die Abhängigkeit von Frontier fürchten.

Zu beachten: die ausgereiften Model Context Protocols (#1054), die Budget-Tools vor dem CFO (#1023) und die Strukturierung in dedizierte Plattformteams.