El « pelican benchmark » de Simon Willison arbitra Kimi K3

Un test de ilustración SVG funciona como un indicador rápido de progreso: Simon Willison publica su lectura del K3 los días 16 y 17 de julio.

El hecho

Simon Willison publica el 16 de julio de 2026 « Kimi K3, y lo que aún podemos aprender del pelican benchmark » y continúa con una entrada complementaria al día siguiente (« Citando a Kimi K3 » - el modelo se niega a filtrar su system prompt). El pelican benchmark —pedir al modelo que dibuje un pelícano en SVG— se utiliza aquí como una prueba de humo sencilla: condensar en una imagen lo que un modelo puede razonar fuera de su distribución habitual.

Nuestra lectura

El pelican benchmark no es una prueba científica. Su valor radica en que permite filtrar rápidamente, a simple vista, sin necesidad de una cuadrícula de evaluación. Tras un año de benchmarks sintéticos desacreditados, el regreso a pruebas visuales legibles es significativo: el cansancio por la hype favorece lo que se juzga sin un documento en PDF. Lo que Willison destaca de K3 en este formato es un modelo que habla pero mantiene sus salvaguardas (se niega a filtrar su system prompt), algo que coincide con la lectura del Nikkei del mismo día sobre la presión competitiva estadounidense.

A vigilar

Las pruebas independientes sobre los benchmarks de código y agentes en la próxima semana; la reacción de Anthropic y OpenAI sobre precios.