리 '펠리컨 벤치마크'가 시몬 윌리슨의 Kimi K3를 심판하다

SVG 일러스트레이션 테스트는 진행 상황을 빠르게 측정하는 척도로 작용합니다: Simon Willison은 7월 16일과 17일에 K3를 읽은 내용을 공개했습니다.

사실

Simon Willison은 2026년 7월 16일에 「Kimi K3, and what we can still learn from the pelican benchmark」을 발표하고, 다음날(17일) 「Quoting Kimi K3」라는 보충 글을 게시했습니다(모델이 system prompt 유출을 거부하는 내용). pelican benchmark는 모델에게 SVG로 펠리컨을 그리도록 요청하는 간단한 smoke test로 활용되었습니다. 이는 모델이 일반적인 분포 밖에서도 추론할 수 있는 능력을 한 이미지로 압축하는 테스트입니다.

우리의 해석

pelican benchmark는 과학적 테스트가 아닙니다. 그 가치는 신속하게 육안으로 판별할 수 있으며, 평가표 없이도 가능하다는 점입니다. 1년간의 합성 벤치마크가 실추된 후, 가독성 있는 시각적 테스트로의 회귀는 주목할 만합니다. 하이프 피로로 인해 PDF 문서 없이도 판단할 수 있는 것이 선호되고 있습니다. Willison이 K3에서 이 형식으로 주목한 점은 모델이 말하면서도 안전장치를 유지한다는 것입니다(system prompt 유출 거부). 이는 같은 날 니케이가 지적한 미국 내 경쟁 압력과도 일맥상통합니다.

주시할 점

향후 1주일 내 코드 및 에이전트 벤치마크에 대한 독립적 테스트; Anthropic과 OpenAI의 가격 정책에 대한 반응.