Der « pelican benchmark » von Simon Willison bewertet Kimi K3

Ein SVG-Illustrations-Test funktioniert als schnelle Fortschrittsanzeige: Simon Willison veröffentlicht seine Lektüre des K3 am 16. und 17. Juli.

Der Fakt

Simon Willison veröffentlicht am 16. Juli 2026 „Kimi K3, and what we can still learn from the pelican benchmark“ und fügt am 17. einen ergänzenden Beitrag hinzu („Quoting Kimi K3“ - das Modell weigert sich, sein System-Prompt zu verraten). Der Pelikan-Benchmark - das Modell wird aufgefordert, einen Pelikan in SVG zu zeichnen - wird dort als einfacher Smoke-Test verwendet: das, was ein Modell außerhalb der üblichen Verteilung denken kann, in einem Bild kondensieren.

Unsere Analyse

Der Pelikan-Benchmark ist kein wissenschaftlicher Test. Sein Wert: Er ermöglicht eine schnelle Sortierung mit bloßem Auge, ohne Auswertungsschema. Nach einem Jahr synthetischer Benchmarks, die diskreditiert wurden, ist die Rückkehr zu lesbaren visuellen Tests bedeutend - die Hype-Müdigkeit begünstigt das, was ohne PDF-Dokument beurteilt werden kann. Was Willison für K3 in diesem Format festhält, ist ein Modell, das spricht, aber seine Schutzmaßnahmen einhält (Weigerung, sein System-Prompt preiszugeben), was mit der Nikkei-Analyse desselben Tages zur amerikanischen Wettbewerbsdruck übereinstimmt.

Zu beobachten

Die unabhängigen Tests zu den Code- und Agenten-Benchmarks in der kommenden Woche; die Reaktion von Anthropic und OpenAI auf die Preisgestaltung.