기업들이 AI 비용에 당황하다 - CFO의 부활

이코노미스트는 데이터룸에서 확인되는 사항을 기록합니다: LLMInvoice가 급증하고, CFO가 주도권을 잡습니다. "무한 PoC"는 비용이 들며, ROI는 각 AI 프로젝트의 생명줄이 되고 있습니다.

간단히 말해

2년간의 FOMO를 겪은 대기업들은 이제야 결산을 한다: AI 청구서(OpenAI, Anthropic, Azure OpenAI, AWS Bedrock)가 처음 예상했던 것보다 몇 배나 더 나왔다. 결과적으로 CFO가 실권을 잡았고, ROI가 전혀 없는 PoC는 중단했으며, 모델 간 직접적인 경쟁을 벌이고 있다.

사건의 전말

《이코노미스트》(2026년 6월)에 따르면, 2025~2026년 기업의 AI 지출이 계속해서 급격히 증가했지만, interviewed DSIs에 따르면 사용 사례의 대부분이 ROI 기준을 충족하지 못했다. 세 가지 주요 원인이 반복된다:

1. 토큰 비용은 진정한 지출이 아니다. 진정한 비용은 인간-in-the-loop다: 검토, 수정, 오케스트레이션, 거버넌스. 현장에서 관찰된 비율: 일반적으로 모델의 순수한 비용의 3~5배.
2. 컨텍스트가 마진을 갉아먹는다. 짧은 윈도우에서 긴 윈도우( RAG 포함)로 전환하면 동일한 사용 사례에 대해 청구서가 한 자리 수만큼 곱해진다.
3. 멀티모델이 오케스트레이션 비용을 폭발시킨다. 간단한 작업을 Haiku/Nano로 라우팅하는 모범 사례는 인프라 복잡성으로 이어지며, 이를 제대로 마스터하는 DSIs는 거의 없다.

실행은 두 가지 형태로 이루어진다: (a) 부분적으로 오픈웨이트 모델(Llama, Qwen, DeepSeek)으로 자체 호스팅 전환 - 기업 AI 워크로드에서 자체 호스팅 비중이 빠르게 증가하고 있다; (b) 공급업체와의 임계치 계약 - 마이크로소프트는 이제 대기업 고객을 대상으로 최저가를 협상하고 있다.

내부 메커니즘

• 핵심 지표: "cost per successful task" - 청구된 토큰이 아니라, 검토를 통과한 산출물의 평균 비용.
• 스마트 라우터: 사전 분류 레이어를 통해 기본적으로 작은 모델(LiteLLM, Portkey, Anthropic 자체 티어링)으로 라우팅하면 비용이 30~50% 절감되는 경우가 많다.
• 프롬프트 캐시: 거의 활용되지 않음 - 반복되는 시스템 프롬프트에서 최대 -75% 절감(Anthropic 프롬프트 캐시).

결론

세 가지 결과. 첫째, "개발자들이 모델을 선택하게 두자"는 시대는 끝났다. 재무부가 개입한다. 둘째, 측정 가능한 ROI(‘생산성 30% 향상’ 슬라이드가 아닌)를 증명할 수 있는 판매업체가 시장을 휩쓸 것이다. 셋째, 오픈웨이트의 시대다. 이념이 아니라 경제적 이유에서다. 주목할 점: 2026년 말 OpenAI의 상위 500대 고객 이탈률.