Легендарный «pelican benchmark» Саймона Уиллисона оценивает Kimi K3

Тест с иллюстрацией SVG служит быстрым индикатором прогресса: Саймон Уиллисон публикует своё прочтение K3 16 и 17 июля.

Факт

Саймон Уиллисон публикует 16 июля 2026 года статью « Kimi K3, and what we can still learn from the pelican benchmark » и продолжает её дополнением 17 июля (« Quoting Kimi K3 » — модель отказывается допустить утечку своего system prompt). Бенчмарк pelican — попросить модель нарисовать пеликана в формате SVG — используется здесь как простой smoke test: сжать в изображении то, что модель может обосновать за пределами привычного распределения данных.

Наше понимание

Бенчмарк pelican не является научным тестом. Его ценность: он позволяет быстро отсортировать модели «на глаз», без сложной системы оценки. После года дискредитированных синтетических бенчмарков возвращение к наглядным визуальным тестам знаменательно — усталость от хайпа способствует тому, что решения принимаются без многостраничных PDF-документов. То, что Уиллисон выделяет в K3 в этом формате, — это модель, которая «говорит», но сохраняет свои ограничения (отказ допустить утечку system prompt), что перекликается с чтением Nikkei того же дня о конкурентном давлении со стороны США.

На что обратить внимание

Независимые тесты бенчмарков для кода и агентов в предстоящую неделю; реакция Anthropic и OpenAI на изменения в ценообразовании.