램프는 자체 AI 모델 라우터를 구축합니다. 이름은 literally "Router"입니다.

핀테크 기업 램프(Ramp)가 내부 AI 모델 라우팅 레이어를 출시했으며, 이를 제품으로 오픈소스화했습니다. 이 움직임은 더 광범위한 패턴을 반영합니다: 대규모로 AI를 배포하는 기업들은 시장이 제공하지 않는 모델 관리 인프라를 구축하고 있습니다.

간단히 말해

램프는 애플리케이션 코드와 여러 AI 모델 제공업체 사이에 위치하는 계층을 구축했습니다. 각 요청에 대해 비용, 대기 시간, 기능 요구 사항에 따라 사용할 모델을 선택하는 이 계층을 라우터(Router)라고 명명했습니다. 내부적으로 배포한 후 이제 공개적으로 릴리스합니다.

라우터가 해결하는 문제

의미 있는 규모로 AI를 운영하는 모든 회사는 동일한 결정 아키텍처에 직면합니다. 서로 다른 작업은 서로 다른 요구 사항을 가지며, 모든 작업에 최적화된 단일 모델은 없습니다. 간단한 문서 분류 작업은 복잡한 다단계 추론 작업과 동일한 모델을 필요로 하지 않습니다. 모든 작업에 가장 뛰어난 모델을 사용하면 이론상 품질은 극대화되지만 단위 경제성은 파괴됩니다. 반면 모든 작업에 가장 저렴한 모델을 사용하면 품질이 파괴됩니다.

순진한 해결책은 기능별 모델 선택입니다. 엔지니어가 각 사용 사례에 모델을 선택하고 하드코딩하는 방식입니다. 이 방법은 소규모에서는 작동하지만 대규모에서는 문제가 발생합니다. 모델 환경은 분기별로 변화하고, 가격은 변동하며, 새로운 옵션이 등장하고, 하드코딩된 결정은 기술 부채가 됩니다.

라우터는 램프의 프로덕션 등급 해결책입니다. 애플리케이션 코드에서 모델 선택을 추상화하고, 구성 가능한 규칙(비용 상한, 대기 시간 SLA, 기능 요구 사항)을 적용하며, 개별 기능 구현을 건드리지 않고도 업데이트할 수 있는 라우팅 계층입니다.

램프가 구매하지 않고 자체 개발한 이유

모델 라우팅 카테고리는 비어 있지 않습니다. 여러 스타트업이 라우팅 기능을 갖춘 AI 게이트웨이 제품을 구축했습니다. 램프가 타사 제품을 채택하지 않고 자체적으로 구축하기로 한 결정은 시사하는 바가 큽니다.

주요 이유는 라우팅 로직에 대한 통제권(민감한 데이터 처리가 복잡한 금융 서비스 규제 요구 사항), 모니터링 스택과의 깊은 통합, 그리고 일반적인 휴리스틱이 아닌 자체 트래픽 패턴에 맞춰 라우팅 규칙을 최적화할 수 있는 능력 때문입니다.

[내부 구조] 프로덕션 규모의 모델 라우터는 몇 가지 중대한 문제를 해결해야 합니다.

라우팅 로직: 규칙 기반(비용 > X이면 저렴한 모델 사용) vs. ML 기반(작업 특성에 따라 분류기 훈련) vs. 하이브리드. 각 접근 방식은 유지 관리 비용과 장애 모드가 다릅니다.

폴백 처리: 선택한 모델이 다운되거나, 속도 제한에 걸리거나, 오류를 반환하면 어떻게 해야 할까요? 라우터는 호출 애플리케이션을 중단하지 않는 재시도 및 폴백 전략이 필요합니다.

모니터링: 라우팅 결정을 개선하려면 각 경로의 품질, 대기 시간, 비용을 추적하여 라우팅 규칙 업데이트에 피드백해야 합니다. 이는 essentially 폐쇄 루프 ML 시스템입니다.

캐싱: 의미적으로 유사한 요청은 이전 응답을 재사용할 수 있습니다. 캐시 통합이 있는 라우터는 대용량 사용 사례에서 비용과 대기 시간을 크게 절감할 수 있습니다.

결론

"라우터 구축" 패턴은 AI 네이티브 기업에서 표준 인프라가 되고 있습니다. 램프가 라우터를 공개적으로 릴리스하면서 시사하는 바는 다음과 같습니다.

1. 문제가 내부적으로 해결되었습니다. 경쟁 우위가 라우팅 계층에 있지 않았기 때문에 인프라가 이제 상품화되었습니다. 공유할 가치가 있는 이유는 경쟁 우위가 라우팅 계층에 있지 않았기 때문입니다.

2. 시장이 미성숙합니다. 상용 솔루션이 램프의 요구 사항을 충족했다면 사용했을 것입니다. 내부적으로 구축했다는 사실은 기존 제품이 금융 서비스 프로덕션 등급 사용 사례에 대한 격차를 가지고 있음을 시장의 신호입니다.

3. 통합이 예상됩니다. 라우터는 시장에 솔루션이 제공되기 전에 대규모 AI를 배포한 기업에서 등장한 여러 "AI 모델 관리" 도구 중 하나입니다. 일부는 내부적으로 유지될 것이고, 일부는 제품이 될 것이며, 일부는 AI 미들웨어 계층을 구축하는 클라우드 제공업체에 인수될 것입니다.