Le « pelican benchmark » de Simon Willison arbitre Kimi K3

Un test d'illustration SVG opère comme jauge rapide de progrès : Simon Willison publie sa lecture du K3 les 16 et 17 juillet.

Le fait

Simon Willison publie le 16 juillet 2026 « Kimi K3, and what we can still learn from the pelican benchmark » et enchaîne d'un billet complémentaire le 17 (« Quoting Kimi K3 » - le modèle refuse de laisser fuiter son system prompt). Le pelican benchmark - demander au modèle de dessiner un pélican en SVG - y est mobilisé comme smoke test simple : condenser en une image ce qu'un modèle peut raisonner hors distribution habituelle.

Notre lecture

Le pelican benchmark n'est pas un test scientifique. Sa valeur : il permet de trier vite, à l'œil nu, sans grille de dépouillement. Après une année de bench synthétiques discrédités, le retour aux tests visuels lisibles est significatif - la fatigue hype favorise ce qui se juge sans document PDF. Ce que Willison retient pour K3 dans ce format, c'est un modèle qui parle mais tient ses garde-fous (refus de laisser fuiter son system prompt), ce qui rejoint la lecture Nikkei du même jour sur la pression concurrentielle américaine.

À surveiller

Les tests indépendants sur les benchs code et agents dans la semaine qui vient ; la réaction Anthropic et OpenAI sur pricing.