AI検索エージェントの失敗原因は検索精度ではなく質問不足

Tencent Hunyuanと清華大学による新たなベンチマーク「DiscoBench」が、463箇所の曖昧な点を含む211件のタスクをテストした。その結果、最高性能のモデルであるDoubao Seed 2.0 Proでもエンドツーエンドの成功率は43.1%にとどまり、情報検索ではなく、ユーザーに曖昧さの解消を求めるプロセスでつまずいていることが判明した。この振る舞いの違いが、開発上の重要な示唆となっている。検索後にフォローアップの質問をするエージェントは93.4%の確率で成功する一方、より深く検索して推測に頼る場合は51.9%に低下する。つまり、ツール呼び出しを増やすよりも、検知した曖昧さを明確化のための質問に結びつけることが解決策となる。

出典： the-decoder.com ↗

まず検索し、その後フォローアップの質問をするモデルは平均93.4%の成功率を記録する。質問せずに推測すると56.5%に低下する。

DiscoBench researchers (Tencent Hunyuan & Tsinghua University)

なぜ重要か

→ AI検索エージェントは、検索ではなく明確化に失敗する—このギャップを修正する方が、検索を改善するよりも簡単だ。
→ SearchThenAsk戦略は93.4%の成功率を達成する一方、質問なしに繰り返し検索すると51.9%だ。
→ 曖昧さの検出と質問の質は切り離されたスキルであり、エージェントが機能するには両方が必要だ。

もっと検索するな、尋ねよ