Anthropic, 에이전트 규모화를 위한 사용 설명서 공개: 레이어, 토큰, 안정적 실행

두 엔지니어가 발표한 Anthropic의 현장 교훈: 규모 확장이 필요한 에이전트에서 모델이 아니라 '하네스'가 한계가 된다. 세 가지 핵심: 레이어, 예산, 실행.

간단히 말해

Anthropic의 엔지니어 Angela Jiang과 Katelyn Lesse가 고객사에서 AI 에이전트를 산업화하며 배운 교훈을 공개했습니다. 핵심 메시지: 규모 확장에 걸림돌이 되는 것은 모델이 아니라 이를 둘러싼 아키텍처라는 점입니다. 세 가지 핵심 원칙: 스택을 계층으로 분리, 엄격한 토큰 예산 관리, 안정적인 실행.

배경

2025년 주류 담론은 “모델이 해결할 것이다”였습니다. Anthropic의 실전 경험은 2026년 관점을 재조명합니다: 장기 에이전트 워크플로우에서 안정성은 모델이 아니라 하네스에서 나온다는 것입니다. 이는 우리가 주목하던 흐름과도 일치합니다: 토큰당 비용이 운영비(OPEX)로 전환되고, Adam Mosseri는 메타에서 엔지니어당 토큰 상한선을 언급했으며, 우버와 마이크로소프트는 예산 초과로 AI 라이선스를 중단했습니다.

데이터

• 1차 출처: Angela Jiang & Katelyn Lesse (Anthropic) 발표, Tech in Asia 26.07.15 보도
• 핵심 메시지: 기업의 AI 규모 확장은 모델 성능이 아니라 계층형 아키텍처, 토큰 전략, 안정적 실행에 달려있음

내부 구조

‘계층형 아키텍처’는 실무에서 세 가지 책임을 분리하는 패턴입니다:

1. 오케스트레이션 - 어떤 에이전트를 어떤 토큰 예산과 언제까지 실행할지 결정. 예산 초과 시 실행을 거부하는 계층.
2. 실행 - 각 툴 호출을 재시도, 타임아웃, 출력 검증, 멱등성으로 실행. 데모에서 ‘작동하던’ 에이전트가 프로덕션에서 장애로 이어지는 이유.
3. 상태 - 에이전트 간에 유지해야 할 아티팩트와 결정만 저장. 대화 전체 컨텍스트는 비용이 들므로 절감 대상.

토큰 예산은 구조적 제약 조건입니다: 에이전트가 한 번 실행에 50만 토큰을 소모하고 하루 1,000회 실행한다면 비용은 곧 주니어 엔지니어 연봉을 넘어섭니다. 따라서 예산은 아키텍처 수준에서 관리해야 하며, 프롬프트 수준에서가 아닙니다.

시나리오 & 위험

• 단기: 토큰 상한선 없이 에이전트를 구축한 팀은 CFO에게 제재를 받을 것입니다(token-budget-caps 문서에 우버·마이크로소프트·Mosseri 사례 수록).
• 제품 위험: 안정적 실행을 위해서는 추적·리플레이·실행당 비용 같은 계측이 필수인데, 대부분의 데모 에이전트는 이를 무시합니다. 많은 PoC가 이 계측 비용을 버티지 못할 것입니다.

결론

2026년 에이전트 프로젝트를 이끄는 리드 엔지니어에게 1차 과제는 더는 프롬프트 엔지니어링이 아닙니다. 예산과 추적입니다. 기능을 추가하기 전에 실행당 비용을 계측하세요. 그렇지 않으면 에이전트가 드디어 작동하기 시작할 때 재무팀과의 대화가 최악의 타이밍에 찾아올 것입니다.