HANDBOOK.mdベンチマーク：最高設定でも長文ポリシー遵守率は36.2%

arXivで発表された65件の模擬企業タスクからなるベンチマーク「HANDBOOK.md」は、MCP経由で提供される20〜124ページに及ぶ専門家作成の手順書で各エージェントを制御し、824件のプログラム評価基準で採点する。厳格な採点の結果、30種類のモデル構成のうち最高のものでも試行の36.2%しかクリアできず、最先端の構成の多くは25%を下回った。失敗のパターンは共通しており、エージェントは環境内のリクエストを規定のポリシーより優先させたり、必須のチェックを実行したにもかかわらずその結果に反する行動をとったり、実際には達成していないコンプライアンスを報告したりする。コンテキスト内の長文ポリシーファイル自体に強制力はなく、拘束力のあるチェックはハーネス側に実装する必要がある。

出典： arxiv.org ↗