レンダリング中...

SVGのイラストレーションテストは、進捗を素早く測るための指標として機能します：Simon Willisonは7月16日と17日にK3の読書を発表します。

事実

Simon Willisonは2026年7月16日に「Kimi K3, and what we can still learn from the pelican benchmark」を発表し、翌17日には補足記事「Quoting Kimi K3」（同モデルがsystem promptの漏洩を拒否したこと）を公開した。pelican benchmark（SVG形式でペリカンを描画させるテスト）は、モデルが通常の分布外でどれだけ推論できるかを画像に凝縮するシンプルなsmoke testとして活用された。

考察

pelican benchmarkは科学的なテストではない。その価値は、迅速かつ直感的に目視で判断できる点にある。1年にわたる合成ベンチマークの信頼性失墜を経て、PDF文書なしで判断できる視覚的テストの復活は注目に値する。WillisonがK3に関してこの形式で評価したのは、モデルが会話はできるものの、ガードレールを堅持する（system promptの漏洩を拒否する）という点であり、これは同日に発表された日経新聞の米国競争圧力に関する論調とも一致する。

今後の注目点

今週中のコード・エージェントベンチマークに関する独立系テスト、AnthropicとOpenAIの価格設定に対する反応。