QCon AI Boston : 「프롬프트 → 플랫폼, 하네스, 평가」 - 현장이 이 가설을 입증하다

QCon AI Boston 컨퍼런스가 포착한 전환: AI 프로덕션은 이제 프롬프트 중심에서 플랫폼, 하네스(harnesses), 평가 중심으로 넘어갔습니다. 이는 일시적 유행이 아닌, 수렴 현상입니다.

간단히 말해

InfoQ의 2026년 7월 17일 QCon AI Boston 리포트 한 줄 요약: 프로덕션에 AI를 배포하는 팀들은 더 이상 프롬프트를 논하지 않는다. 그들은 내부 플랫폼, 하네스(도구, 메모리, 재시도 기능을 갖춘 에이전트 오케스트레이터), 그리고 지속적인 평가에 대해 이야기한다. 이는 두 번째 물결이다—이제 ‘잘 대답하나요?’가 아니라 ‘새벽 3시에 동작하나요?’가 중요해졌다.

배경

harness-ops 스레드(그록 CLI 사후 분석 #1184, 토큰 관리 #1135, 자바 1.5에 대한 말리킨 #1175, 2026년 MCP 보안 현황 #1054)는 개별 팀에서도 같은 전환을 문서화했다. QCon AI Boston은 각 사후 분석이 개별적으로 지적했던 것을 공식화한다: 프롬프트는 더 이상 작업의 장소가 아니다. 프롬프트는 자체 ops 규율과 함께 더 큰 시스템의 한 입력으로 전락했다.

의미하는 바

플랫폼. 팀들은 더 이상 에이전트를 직접 작성하지 않는다. 그들은 각 비즈니스 팀이 자신의 사용 사례를 연결하는 내부 계층(템플릿, 커넥터, 예산, 관찰 가능성)을 구축한다. 이는 2015~2020년 내부 클라우드의 궤적을 그대로 따라간다: 먼저 지역적 고통, 그다음 플랫폼.

하네스. 오케스트레이터가 핵심 아티팩트로 부상한다—종종 모델 선택보다 더 중요하다. 앱을 재작성하지 않고 모델 마이그레이션(앤트로픽이 사용 설명서 제공 #1135), 도구 호출 계측, 멱등성 재시도, 범위화된 메모리.

평가. 평가는 더 이상 릴리스 전 한 번-shot이 아니다. 지속적인 파이프라인이다: 골든 테스트 세트, 프로덕션에서의 LLM-판정, 자동 감지된 리그레션. 릴리스 프로세스는 제품 데모가 아니라 백엔드 CI에 더 가깝다.

내부 메커니즘

숨은 신호는 조직적이다. 프로젝트가 실패하는 곳은 거의 모델이 아니라 릴리스 규율의 부재(우버 예산 고갈, 마이크로소프트 라이선스 중단 #1023)이다. 성공하는 곳은 새로운 역할이 등장한다—‘하네스 엔지니어’라고 부를 수 있는 역할: ML보다는 SRE에, 인프라보다는 제품에 더 가까운 역할.

결론

2026년 CTO에게 전략적 질문은 더 이상 ‘어떤 모델’이 아니라 ‘어떤 내부 에이전트 플랫폼’을 구축할 것인가이다. 벤더 락인은 이 계층에서 결정된다: 하네스가 비즈니스 로직을 담을수록 더 중요한 자산이 되고, underlying 모델은 교체 가능해진다. 이는 frontier 종속을 우려하는 이들에게 올해의 유일한 좋은 소식이다.

주목할 만한 것: 성숙한 Model Context Protocols (#1054), CFO의 사전 예산 도구 (#1023), 그리고 전용 플랫폼 팀의 구조화.