기업들이 AI 비용에 당황하다 - CFO가 다시 의사결정권에 참여하다

이코노미스트는 데이터룸에서 확인되는 사항을 기록한다: LLM 관련 청구서가 폭등하고, CFO들이 실권을 잡는다. "무한한 PoC"는 대가를 치르며, ROI는 각 AI 프로젝트의 생명줄이 되고 있다.

간단히 말해

2년간의 FOMO를 보낸 후, 대기업들은 이제 결산을 한다: AI 청구서(OpenAI, Anthropic, Azure OpenAI, AWS Bedrock)가 처음 예상했던 것보다 몇 배나 늘어나고 있다. 결과적으로 CFO가 실권을 잡으며, ROI가 없는 PoC는 중단되고 모델 간 직접적인 경쟁이 벌어진다.

사건

《이코노미스트》(2026년 6월)에 따르면, 기업의 AI 지출은 2025~2026년에도 급격히 증가했지만, interviewed DSIs에 따르면 사용 사례의 대부분이 양호한 ROI 기준을 충족하지 못했다고 한다. 세 가지 주요 원인이 반복된다:

1. 토큰 비용은 진정한 지출이 아니다. 진정한 비용은 인간-in-the-loop: 검토, 수정, 오케스트레이션, 거버넌스다. 현장에서 관찰된 비율: 일반적으로 모델 순수 비용의 3~5배.
2. 컨텍스트가 마진을 갉아먹는다. 짧은 윈도우에서 긴 윈도우(RAG)로 전환하면 동일한 사용 사례에 대해 청구서가 한 자리 수 곱해진다.
3. 멀티모델이 오케스트레이션 비용을 폭발시킨다. 간단한 작업을 Haiku/Nano로 라우팅하는 모범 사례는 인프라 복잡성으로 이어지며, 이를 제대로 마스터하는 DSIs는 드물다.

실행은 두 형태로 이루어진다: (a) 부분적으로 오픈웨이트 모델(Llama, Qwen, DeepSeek)으로 재호스팅 - 기업 AI 워크로드에서 self-hosted 비중이 빠르게 증가; (b) 공급업체와의 임계치 계약 - Microsoft가 이제 대기업 고객을 대상으로 최저가 계약을 협상 중.

내부 구조

• 핵심 지표: "cost per successful task" - 청구된 토큰이 아니라 리뷰를 통과한 산출물의 평균 비용.
• 스마트 라우터: 사전 분류 레이어가 기본적으로 작은 모델(LiteLLM, Portkey, Anthropic 자체 티어링)으로 라우팅할 때 비용이 30~50% 절감.
• 프롬프트 캐시: 거의 활용되지 않음 - 반복되는 시스템 프롬프트에서 최대 -75% 절감(Anthropic 프롬프트 캐시).

결론

세 가지 결과. 첫째, "개발자들이 선택하게 둡시다" 단계는 끝났다. 재무부가 개입한다. 둘째, 측정 가능한 ROI(슬라이드 "생산성 +30%"가 아닌)를 증명할 수 있는 판매자들이 시장을 휩쓴다. 셋째, 오픈웨이트 시대가 온다 - 이념이 아니라 경제적 이유에서. 주목할 점: 2026년 말 OpenAI의 상위 500대 고객 이탈률.