415.tech
シリコンバレー発、AIとテックの最前線
LongHorizon-Harnessがエージェントのタスク状態をコンテキストから分離、WeaveBenchで80.7%を達成

LongHorizon-Harnessがエージェントのタスク状態をコンテキストから分離、WeaveBenchで80.7%を達成

Ziyu Ma、Hailang Huangらは、長期的なエージェントの失敗をタスク状態管理の問題として捉え直し、「管理・実行・監査(Manage-Execute-Audit)」ループにおいて状態を実行プロセスの外に保持する手法を提案した。管理者が次のサブタスクを選択し、クリーンなコンテキストを持つ実行者がそれを処理し、読み取り専用の監査者が次のラウンドの前に環境を検証する。Qwen 3.7-Plusでは、WeaveBenchのスコアが51.8%から80.7%へ、Terminal-Bench 2.1が69.7%から77.2%へと向上した。また、軽量なAgentAdapterにより、ネイティブのエージェントループを変更せずにモデルとハーネスのバックエンドを切り替え可能であり、既存のエージェントスタックに容易に組み込める。OSWorld 2.0では2.8%から8.3%へ、Claude Opus 4.7(サブセット)では20.0%から34.3%へとスコアが上昇しており、ターミナルや道具の操作においては確かな効果が見られる一方で、完全なデスクトップ制御における改善は依然として限定的である。

出典: arxiv.org

Xでポストメール

タスクの状態を実行の外部で明示的に維持し、環境から独立して検証された事実のみでそれを更新する

LongHorizon-Harness abstract

なぜ重要か

  • → タスクの状態を実行コンテキストから分離し、長期的なエージェントの失敗を半分に削減する。
  • → ポータブルなアダプターがネイティブコードの変更なしにモデルとハーネスを入れ替える。
  • → WeaveBenchで80.7%を達成し、エージェント推論ベンチマークにとって具体的なベースラインの向上となる。
コンテキストの外部にある状態