Контекстная инженерия: почему 300 тщательно подобранных токенов лучше, чем 100 000 шумных

Качественный контекст — это новая задержка, и большинство команд слишком сильно фокусируются на размере окна, а не на плотности сигналов.

Простыми словами: Большие контекстные окна не автоматически означают лучшие результаты работы ИИ. Инженеры, добивающиеся успеха с большими языковыми моделями в продакшене, тщательно отбирают, что попадает в контекст, — а не просто загружают всё подряд.

Барух Садогурский и Патрик Дебуа в своей презентации на InfoQ (14 августа) приводят доводы: извлечённые данные, память и результаты работы инструментов, попадающие в контекстное окно, часто избыточны, противоречивы или попросту нерелевантны. Токен-бюджеты ограничены как во времени, так и в стоимости, а не только в лимитах API — зашумленный контекст ухудшает качество рассуждений и увеличивает задержку. Альтернатива заключается не в использовании меньшей модели, а в более умной её интеграции.

Их архитектурное решение: рассматривать контекст как ресурс, который нужно управлять, а не как буфер, который нужно заполнить. Это означает продуманные стратегии извлечения (гибридный поиск с плотными и разреженными данными, а не только семантическая схожесть), структурированное форматирование вместо сырых текстовых дампов, явное сжатие устаревшего контекста и — что критически важно — анализ того, что модель не должна знать для текущего шага. Они также предлагают практические шаблоны: лениво загружаемые навыки, версионированные артефакты контекста и внешние хранилища памяти как конкретные реализации этой дисциплины.

Под капотом: Фраза «300 токенов» намеренно провокационна — суть не в числе, а в дисциплине. На практике: избегайте добавления полных документов, если достаточно цитируемого отрывка; подводите итоги предыдущих шагов, а не воспроизводите их дословно; используйте структурированные слоты (JSON-схемы) для результатов инструментов вместо свободного текста. Каждое из этих действий снижает соотношение сигнал/шум, через которое должна рассуждать модель.

Итог: По мере роста агентных систем — больше инструментов, длинные цепочки, больше извлечённого контекста — эта проблема усугубляется. Команды, работающие с контекстными окнами более 200k токенов, должны проверять, сколько из этого окна действительно выполняет полезную работу, а сколько — шум, к которому они привыкли. Ограничение смещается с вопроса «Можно ли это впихнуть?» к «Стоит ли это добавлять?».