Willisonのpelicanベンチマーク、フロンティアモデル評価から脱落

Simon Willisonは、21ヶ月前に作成した「自転車に乗るペリカン」のSVGテストを、Moonshotの新型モデル「Kimi K3」（Claude Sonnetと同等の100万トークンあたり3ドル/15ドルで提供される2.8兆パラメータのモデル）で実行し、同ベンチマークが実際のモデルの品質と乖離していることを発見した。GLM-5.2はフロンティアクラスではないにもかかわらず、同モデルが描画したペリカンはClaude Fable 5やGPT-5.6を上回る出来栄えとなった。そのため、このテストはモデル間のランキングではなく、同一ファミリー内でのコストやSVGの幾何学的構造を安価に確認するチェックとしての役割にとどまっている。現在のフロンティアモデルの評価を決定づけるのは、会話が長引いた際のエージェントによる信頼性の高いツール呼び出しであり、これが同テストの死角となっている。

出典： simonwillison.net ↗