Экономные токены: у платёжного агента для кодирования наконец-то появилась панель управления

Инструмент Show HN для сравнения стоимости токенов и влияния кэш-промахов между кодирующими агентами появился в том же неделю, когда Мэтт Москер из Meta предложил ограничения токенов на каждого инженера — в ветке с ограничениями бюджета токенов появился измерительный слой.

Простыми словами. Разработчик опубликовал инструмент, который позволяет увидеть, сколько на самом деле стоят ваши сеансы с ИИ-агентом, сеанс за сеансом, и какая часть этих затрат приходится на промахи кэша. Скучно? Абсолютно — и в этом вся суть. Вот как выглядит рынок ИИ-разработки, когда в дело вступает финансовый директор.

Контекст

Тема ограничения бюджета токенов началась с того, что Uber и Microsoft сократили лицензии на ИИ-разработку, когда во втором квартале закончились бюджеты, а затем перешла к предложениям от Meta о персональных лимитах токенов для каждого инженера (см.

). Совпав с повышением цен на API DeepSeek до 12× и введением почасового ценообразования (#1822, #40247670), отрасль перешла от вопроса «как получить больше мощностей» к «как учитывать то, что мы уже тратим». Frugal Tokens — это симптом такого сдвига.

Как это работает

Инструмент обрабатывает журналы сеансов основных ИИ-агентов. Он предоставляет: стоимость за сеанс, коэффициент попадания в кэш, количество токенов на принятое изменение и распределение затрат по сеансам. Автор инструмента отметил значительные различия в расходах между пользователями, выполняющими схожие задачи. Эти различия почти полностью объясняются двумя факторами: структурой промтов (как часто мы «сбрасываем» кэш?) и избыточностью контекста (сколько токенов мы используем для получения полезного результата?).

Простыми словами

Если ваша команда использует ИИ-агентов в масштабах, у вас есть два рычага управления. Во-первых, «кэш-дружелюбные» промты — размещайте стабильный контекст в начале, а изменяемые части — в конце. Во-вторых, дисциплина контекста — в докладе InfoQ «Right 300 tokens» (#1939) утверждалось, что 300 хорошо подобранных токенов эффективнее 100 000 шумных. Frugal Tokens предоставляет метрику, чтобы подтвердить или опровергнуть это на ваших собственных рабочих процессах.

Анализ

Интерес представляет не сам инструмент — любой, у кого есть API-ключи, мог бы его создать. Важно то, что появляется слой измерения. В 2024–2025 годах рынок ИИ-разработки был одержим выбором моделей («лучше ли Opus, чем Sol?»). 2026 год превращается в борьбу за эффективность инструментов, а эффективность требует измерений. Ожидается, что к середине 2027 года три-четыре таких инструмента объединятся в категорию «Datadog для ИИ-агентов».

Риски

Учёт затрат на уровне сеансов не учитывает эффекты на уровне организации: например, когда младшие инженеры злоупотребляют промтами, а старшие используют агентов как дорогой автодополнитель текста. Персональные дашборды также могут вылиться в слежку за продуктивностью, если их неправильно настроить.

Что делать

Если вы управляете инженерной организацией: выберите инструмент для расчёта стоимости сеансов, получите базовые данные о стоимости на одно принятое изменение и используйте их, чтобы обосновать обучение структуре промтов — а не сокращение мест. Разница в расходах между пользователями настолько велика (об этом автор инструмента узнал ещё до создания дашборда), что это проблема наставничества, а не лицензирования.