Ramp создаёт свой собственный маршрутизатор AI-моделей — и его название буквально "Router".

Компания Ramp в сфере финтеха запустила внутренний слой маршрутизации ИИ-моделей и открыла его как продукт. Этот шаг отражает более широкую тенденцию: компании, внедряющие ИИ в больших масштабах, создают инфраструктуру управления моделями, которой рынок пока не предоставляет.

Простыми словами Ramp создали слой, который находится между их прикладным кодом и несколькими поставщиками моделей ИИ — он выбирает, какую модель использовать для каждого запроса, основываясь на требованиях к стоимости, задержке и возможностям. Они назвали его Router. Сначала его внедрили внутри компании, а теперь выпускают публично.

Проблема, которую решает Router

Любая компания, использующая ИИ на значимом масштабе, сталкивается с одной и той же архитектурой решений: разные задачи требуют разных подходов, и ни одна модель не является оптимальной для всех из них. Простая задача классификации документов не нуждается в той же модели, что и сложная задача многоэтапного рассуждения. Использование самой мощной модели для всего подряд максимизирует качество на бумаге, но разрушает экономику единицы продукции. Использование самой дешёвой модели для всего подряд разрушает качество.

Наивное решение — выбор модели для каждой функции: инженеры выбирают модель для каждого случая использования и жёстко прописывают её в коде. Это работает на небольшом масштабе и ломается на большом — ландшафт моделей меняется ежеквартально, цены сдвигаются, появляются новые варианты, а жёстко прописанные решения становятся техническим долгом.

Router — это производственное решение от Ramp: слой маршрутизации, который абстрагирует выбор модели от прикладного кода, применяет настраиваемые правила (потолок стоимости, SLA по задержке, требования к возможностям) и может обновляться без изменения реализации отдельных функций.

Почему Ramp построили это, а не купили

Категория маршрутизации моделей не пуста. Несколько стартапов создали продукты для шлюзов ИИ с возможностями маршрутизации. Решение Ramp о внутренней разработке, а не о покупке одного из этих продуктов, информативно.

Вероятные причины: контроль над логикой маршрутизации (в финансовых услугах есть нормативные требования, которые усложняют стороннюю обработку конфиденциальных данных), более глубокая интеграция со стеком наблюдаемости, а также возможность оптимизации правил маршрутизации под их специфичные шаблоны трафика, а не общие эвристики.

[Под капотом] Маршрутизатор моделей на производственном масштабе должен решать несколько нетривиальных задач:

Логика маршрутизации: на основе правил (если стоимость > X, используй более дешёвую модель) vs. на основе машинного обучения (обучи классификатор на характеристиках задачи) vs. гибридный подход. У каждого подхода разные затраты на поддержку и режимы отказа.

Обработка отказов: что происходит, когда выбранная модель недоступна, ограничена по запросам или возвращает ошибку? Маршрутизатор должен иметь стратегию повторных попыток и откатов, которая не ломает вызывающее приложение.

Наблюдаемость: чтобы улучшать решения по маршрутизации, нужно отслеживать качество, задержку и стоимость для каждого маршрута так, чтобы это влияло на обновление правил. По сути, это замкнутая система машинного обучения.

Кэширование: семантически похожие запросы могут часто использовать предыдущие ответы. Маршрутизатор с интеграцией кэша может значительно снизить как стоимость, так и задержку для высоконагруженных случаев использования.

И что

Паттерн "построй маршрутизатор" становится стандартной инфраструктурой в компаниях, ориентированных на ИИ. Что сигнализирует Ramp, выпуская Router:

1. Проблема решена внутри компании. Инфраструктура, которая была конкурентным преимуществом, теперь стала товаром — её стоит делиться, потому что преимущество никогда не заключалось в самом слое маршрутизации.

2. Рынок незрелый. Если бы коммерческое решение соответствовало требованиям Ramp, они бы его использовали. Тот факт, что они построили его сами, — сигнал рынку о том, что существующие предложения имеют пробелы для производственных финансовых услуг.

3. Ожидается консолидация. Router — один из нескольких инструментов "управления ИИ-моделями", появляющихся из компаний, которые внедрили ИИ на масштабе до того, как рынок предложил решения. Некоторые останутся внутренними, некоторые станут продуктами, некоторые будут приобретены облачными провайдерами, строящими слои посредничества для ИИ.