Ramp baut seinen eigenen KI-Modell-Router – und der Name ist wörtlich "Router"

Die Fintech-Firma Ramp hat eine interne KI-Modell-Routing-Schicht gestartet – und sie als Produkt open-sourced. Dieser Schritt spiegelt ein breiteres Muster wider: Unternehmen, die KI in großem Maßstab einsetzen, bauen eine Modellmanagement-Infrastruktur auf, die der Markt bisher nicht bereitgestellt hat.

In einfachen Worten Ramp hat eine Schicht zwischen ihrem Anwendungscode und mehreren KI-Modellanbietern aufgebaut – diese wählt basierend auf Kosten, Latenz und Fähigkeitsanforderungen das passende Modell für jede Anfrage aus. Sie nannten es Router. Zuerst intern eingesetzt, wird es nun öffentlich verfügbar gemacht.

Das Problem, das Router löst

Jedes Unternehmen, das KI in relevantem Umfang einsetzt, steht vor derselben architektonischen Entscheidung: Unterschiedliche Aufgaben erfordern unterschiedliche Modelle, und kein einzelnes Modell ist für alle optimal. Eine einfache Dokumentenklassifizierung benötigt nicht dasselbe Modell wie eine komplexe, mehrstufige Aufgabenstellung. Die Verwendung des leistungsfähigsten Modells für alles maximiert zwar die Qualität auf dem Papier, zerstört aber die Wirtschaftlichkeit pro Einheit. Der Einsatz des günstigsten Modells für alles zerstört die Qualität.

Die naive Lösung ist die Modellauswahl pro Funktion: Entwickler wählen für jeden Anwendungsfall ein Modell aus und hardcodieren es. Das funktioniert in kleinem Maßstab, scheitert aber im großen Maßstab – die Modelllandschaft ändert sich vierteljährlich, die Preise schwanken, neue Optionen entstehen, und die hartcodierten Entscheidungen werden zu technischem Ballast.

Router ist Ramp’s produktionsreife Antwort: eine Routing-Schicht, die die Modellauswahl vom Anwendungscode abstrahiert, konfigurierbare Regeln anwendet (Kostendeckelung, Latenz-SLA, Fähigkeitsanforderungen) und ohne Änderungen an einzelnen Funktionsimplementierungen aktualisiert werden kann.

Warum Ramp dies selbst entwickelt hat statt es zu kaufen

Die Kategorie der Modell-Routing-Lösungen ist nicht leer. Mehrere Startups haben KI-Gateway-Produkte mit Routing-Funktionen entwickelt. Ramp’s Entscheidung, intern zu entwickeln statt eines dieser Produkte zu übernehmen, ist aufschlussreich.

Die wahrscheinlichen Gründe: Kontrolle über die Routing-Logik (Finanzdienstleister haben regulatorische Anforderungen, die die Weiterverarbeitung sensibler Daten durch Dritte erschweren), tiefere Integration in ihren Observability-Stack sowie die Möglichkeit, Routing-Regeln an ihre spezifischen Traffic-Muster anzupassen statt auf generische Heuristiken zurückzugreifen.

[Im Detail] Ein Modell-Router im Produktionsmaßstab muss mehrere nicht-triviale Probleme lösen:

Routing-Logik: regelbasiert (wenn Kosten > X, nutze günstigeres Modell) vs. KI-basiert (Trainieren eines Klassifikators anhand von Aufgabenmerkmalen) vs. hybrid. Jeder Ansatz hat unterschiedliche Wartungskosten und Fehleranfälligkeiten.

Fallbacks: Was passiert, wenn das ausgewählte Modell nicht verfügbar ist, ratebegrenzt wird oder einen Fehler zurückgibt? Der Router benötigt eine Retry- und Fallback-Strategie, die die aufrufende Anwendung nicht beeinträchtigt.

Observability: Um Routing-Entscheidungen zu verbessern, müssen Qualität, Latenz und Kosten pro Route erfasst werden, um sie in die Aktualisierung der Routing-Regeln zurückfließen zu lassen. Dies ist im Wesentlichen ein Closed-Loop-ML-System.

Caching: Semantisch ähnliche Anfragen können oft vorherige Antworten wiederverwenden. Ein Router mit Cache-Integration kann sowohl Kosten als auch Latenz für hochvolumige Anwendungsfälle deutlich reduzieren.

Fazit

Das Muster „Einen Router selbst bauen“ wird zur Standardinfrastruktur bei KI-nativen Unternehmen. Was Ramp mit der Veröffentlichung von Router signalisiert:

1. Das Problem ist intern gelöst. Die Infrastruktur, die einst ein Wettbewerbsvorteil war, ist nun eine Commodity – es lohnt sich, sie zu teilen, da der Graben nie in der Routing-Schicht lag.

2. Der Markt ist unreif. Hätte eine kommerzielle Lösung Ramp’s Anforderungen erfüllt, hätte man sie genutzt. Die Tatsache, dass intern entwickelt wurde, ist ein Marktsignal dafür, dass bestehende Angebote Lücken für produktionsreife Finanzdienstleistungs-Anwendungsfälle aufweisen.

3. Konsolidierung ist zu erwarten. Router ist eines von mehreren „KI-Modellmanagement“-Tools, die von Unternehmen veröffentlicht werden, die KI in großem Maßstab einsetzten, bevor der Markt Lösungen bot. Einige bleiben intern, andere werden zu Produkten, wieder andere von Cloud-Anbietern übernommen, die KI-Middleware-Schichten aufbauen.