Databricks独自ベンチマークでGLM 5.2とOpus 4.8が同等（タスク単価1.28ドル対1.94ドル）

Databricksは数百万行に及ぶ自社のコードベースでコーディングエージェントをベンチマーク評価した。その結果、中国のオープンソースモデルGLM 5.2がタスク品質においてOpus 4.8と統計的に同等（ともに87%）でありながら、タスクあたりのコストはOpusの1.94ドルに対し1.28ドルに収まることが分かった。また、トークン単価はコストの指標として不十分であることも判明した。Sonnet 5はトークン単価では約1.7倍安価だが、タスク完了までにより多くのコードを読み込み1.9倍のトークンを消費したため、タスクあたりのコストは2.09ドルに上っている。マージ済みPRのバックログを持つチームであれば、どのモデルも学習していないタスクを用意し、自社のテストで評価する同様のベンチマークを構築可能だ。

出典： databricks.com ↗