O « pelican benchmark » de Simon Willison arbitra Kimi K3

Um teste de ilustração SVG funciona como um medidor rápido de progresso: Simon Willison publicou sua leitura do K3 nos dias 16 e 17 de julho.

O fato

Simon Willison publica em 16 de julho de 2026 « Kimi K3, and what we can still learn from the pelican benchmark » e segue com um post complementar no dia 17 (« Quoting Kimi K3 » — o modelo se recusa a vazar sua system prompt). O pelican benchmark — pedir ao modelo para desenhar um pelicano em SVG — é usado como um smoke test simples: condensar em uma imagem o que um modelo consegue raciocinar fora de sua distribuição habitual.

Nossa leitura

O pelican benchmark não é um teste científico. Seu valor: permite classificar rapidamente, a olho nu, sem grade de análise. Após um ano de benchmarks sintéticos desacreditados, o retorno aos testes visuais legíveis é significativo — a fadiga da hype favorece o que se julga sem documento em PDF. O que Willison destaca sobre o K3 nesse formato é um modelo que fala, mas mantém suas salvaguardas (recusa em vazar sua system prompt), o que se alinha à leitura do Nikkei do mesmo dia sobre a pressão competitiva americana.

A observar

Os testes independentes nos benchmarks de código e agentes na semana que vem; a reação da Anthropic e da OpenAI sobre preços.