Ramp 构建了自己的 AI 模型路由器——名字 literally 就是“Router”

金融科技公司Ramp推出了一个内部AI模型路由层，并将其开源为产品。这一举动反映了更广泛的趋势：大规模部署AI的公司正在构建市场尚未提供的模型管理基础设施。

简单来说

Ramp 构建了一个位于其应用代码与多个 AI 模型提供商之间的层，基于成本、延迟和能力需求为每个请求选择合适的模型。他们将其命名为 Router。该产品已在内部使用，现在他们决定公开发布。

Router 解决的问题

任何在规模化运行 AI 的公司都面临相同的架构决策：不同任务有不同的需求，且没有单一模型能在所有场景下都达到最优。简单的文档分类任务不需要与复杂的多步推理任务相同的模型。对所有任务都使用最强大的模型在理论上能最大化质量，但会破坏单位经济效益；而对所有任务都使用最便宜的模型则会损害质量。

简单的解决方案是为每个功能选择模型并硬编码。这种方法在小规模时可行，但在大规模时会失效——模型格局每季度都在变化，定价在变动，新选项不断涌现，而硬编码的决策会沦为技术债务。

Router 是 Ramp 生产级的答案：一个路由层，将模型选择从应用代码中抽象出来，应用可配置的规则（成本上限、延迟 SLA、能力需求），并可在不修改各功能实现的情况下进行更新。

为什么 Ramp 选择自研而非购买

模型路由这一类别并不空白。已有多家初创公司推出了具备路由功能的 AI 网关产品。Ramp 决定自研而非采用这些产品的原因值得探讨。

可能的原因包括：对路由逻辑的控制（金融服务行业的监管要求使得第三方处理敏感数据变得复杂）、与其可观测性栈的深度集成，以及能够根据其特定流量模式优化路由规则，而非依赖通用启发式方法。

[内部机制] 生产级的模型路由器需要解决几个非同寻常的问题：

路由逻辑：基于规则（如成本 > X 时使用更便宜的模型）vs. 基于机器学习（根据任务特征训练分类器）vs. 混合方案。每种方法的维护成本和故障模式各不相同。

回退处理：当选定的模型宕机、达到限流或返回错误时该怎么办？路由器需要具备重试和回退策略，以避免破坏调用应用。

可观测性：为改进路由决策，需跟踪每条路由的质量、延迟和成本，并将其反馈至路由规则更新。这本质上是一个闭环机器学习系统。

缓存：语义相似的请求通常可重用先前的响应。集成缓存的路由器能显著降低高并发场景下的成本和延迟。

总结

“构建路由器”这一模式正在成为 AI 原生公司的标准基础设施。Ramp 通过开源 Router 传递的信号包括：

1. 问题已在内部解决。曾是竞争优势的基础设施如今已成为大宗商品——值得分享，因为其护城河从未在于路由层本身。

2. 市场尚不成熟。如果商业解决方案能满足 Ramp 的需求，他们早已采用。自研这一事实表明现有产品在生产级金融服务用例中存在缺口。

3. 预期整合。Router 是多个“AI 模型管理”工具之一，这些工具来自在市场提供解决方案前就已规模化部署 AI 的公司。有些将保持内部使用，有些会成为产品，有些则会被构建 AI 中间件层的云服务提供商收购。