IBM ResearchのALTK-Evolve、40%の推論コストでAppWorldのACE超え

IBM ResearchのALTK-Evolveは、各ステップでACEのようにプレイブック全体を注入するのではなく、特定のモデルとタスクのニーズに合わせた教訓のみを検索する。DeepSeek-V3.2を使用した場合、AppWorldの168件のtest_normalタスクにおいて、ACEのタスク目標達成率80.4%に対し、約40%の推論コストで89.3%を記録した。ライブラリと詳細な技術レポートは公開されており、ReActエージェントを実行する開発者は、プレイブック全体の注入をタスクごとの検索に切り替えることができる。gpt-oss-120bでは、この変更によりタスクあたりのトークン数が77万7000から11万6000に削減され、統計的に同等のスコアを達成した。

出典： huggingface.co ↗

各ステップでプレイブック全体を注入するのではなく、タスクごとにいくつかのガイドラインを検索することにトークンは費やされるのだ。

IBM Research, ALTK-Evolve technical report

なぜ重要か

→ Agentic memoryは、ベースラインの精度と同等かそれ以上を達成しながら、推論コストを40〜87%削減できる。
→ より困難な問題において、タスクごとの検索はフルコンテキストの注入を上回る。
→ オープンソースライブラリは、開発者が自身のモデルの実際の容量に合わせてエージェントのプロンプティングを最適化することを可能にする。

Agentic memory、より安価に