ラムプは独自のAIモデルルーターを開発し、その名前は文字通り「Router」です

Rampというフィンテック企業が社内向けのAIモデルルーティングレイヤーを立ち上げ、それを製品としてオープンソース化した。この動きは、より広範なパターンを反映している。つまり、大規模にAIを展開する企業は、市場が提供していないモデル管理インフラを構築しているのだ。

簡単に言うと

Rampは、アプリケーションのコードと複数のAIモデルプロバイダーの間にレイヤーを構築し、各リクエストに対してコスト、レイテンシ、機能要件に基づいて使用するモデルを選択するシステムを構築しました。彼らはこれを「Router」と名付け、社内でリリースした後、現在は一般公開しています。

Routerが解決する問題

AIを大規模に運用する企業は、誰もが同じアーキテクチャ上の意思決定に直面します。異なるタスクには異なる要件があり、単一のモデルがすべてに最適というわけではありません。単純なドキュメント分類タスクには、複雑なマルチステップ推論タスクと同じモデルは必要ありません。すべてのタスクに最も高性能なモデルを使用すると、理論上は品質が最大化されますが、ユニットエコノミクスは破壊されます。最も安価なモデルをすべてに使用すると、品質が損なわれます。

素朴な解決策は、機能ごとのモデル選択です。エンジニアが各ユースケースにモデルを選択し、ハードコーディングします。これは小規模では機能しますが、大規模になると破綻します。モデルの状況は四半期ごとに変化し、価格は変動し、新しい選択肢が登場します。その結果、ハードコーディングされた意思決定は技術的負債となります。

RouterはRampの本番環境向けの回答です。モデル選択をアプリケーションコードから切り離すルーティングレイヤーであり、設定可能なルール（コスト上限、レイテンシSLA、機能要件）を適用し、個々の機能実装を変更せずに更新できるシステムです。

なぜRampはこれを購入せずに構築したのか

モデルルーティングのカテゴリーは空白ではありません。複数のスタートアップがルーティング機能を備えたAIゲートウェイ製品を構築しています。Rampがサードパーティの製品を採用せずに内部で構築した理由は示唆に富みます。

主な理由として考えられるのは、ルーティングロジックの制御（金融サービスでは機密データのサードパーティ処理が規制上の問題となる）、独自の可観測性スタックとの深い統合、および汎用的なヒューリスティックではなく、自社の特定のトラフィックパターンに最適化されたルーティングルールを実装できる能力です。

[内部構造] 本番環境でスケールするモデルルーターは、いくつかの難しい問題を解決する必要があります。

ルーティングロジック：ルールベース（コストがXを超えたら安価なモデルを使用） vs. MLベース（タスク特性に基づいて分類器をトレーニング） vs. ハイブリッド。各アプローチには異なるメンテナンスコストと障害モードがあります。

フォールバック処理：選択したモデルがダウン、レート制限、またはエラーを返した場合どうするか？ルーターは呼び出し元のアプリケーションを破壊しないリトライとフォールバック戦略を必要とします。

可観測性：ルーティングの意思決定を改善するには、各ルートの品質、レイテンシ、コストを追跡し、その結果をルーティングルールの更新にフィードバックする必要があります。これは基本的にクローズドループのMLシステムです。

キャッシュ：意味的に類似したリクエストは、以前のレスポンスを再利用できることが多いです。キャッシュ統合を備えたルーターは、高ボリュームのユースケースでコストとレイテンシを大幅に削減できます。

結論

「ルーターを構築する」というパターンは、AIネイティブ企業の間で標準的なインフラストラクチャになりつつあります。RampがRouterを公開することで示しているのは以下の3点です。

1. 問題は社内で解決済み。競争優位であったインフラストラクチャが今やコモディティ化し、ルーティングレイヤー自体に競争力の源泉はなかったため、共有するに値する。

2. 市場は未成熟。Rampの要件を満たす商用ソリューションが存在していたら、彼らはそれを使用していたでしょう。社内で構築したという事実は、既存のソリューションが金融サービスの本番環境向けユースケースにギャップがあるという市場シグナルです。

3. 統合が進む。Routerは、市場にソリューションが登場する前に大規模なAIを展開した企業から登場した「AIモデル管理」ツールの一つです。一部は社内に留まり、一部は製品化され、一部はAIミドルウェア層を構築するクラウドプロバイダーに買収されるでしょう。