スマートルーティングが必須機能に、Gergely Oroszが11ツールを紹介
Gergely Oroszは、プロンプトごとに安価なモデルやフロンティアモデルを使い分ける、Factory Router、Not Diamond、OpenRouter、LiteLLMなど11のルーティングおよびゲートウェイ製品をまとめた。モデル間の価格差が10〜20倍に達する中、各ベンダーは20〜30%のコスト削減が可能だと主張している。現在、開発者は簡単なリクエストをオープンモデルに、複雑なものをフロンティアモデルに振り分けることができる。Factory AIのMatan Grinbergは、トークン消費量ベースでコーディング作業の約60%をオープンモデルがカバーしていると推定している。
出典： newsletter.pragmaticengineer.com ↗
トークン消費の観点から見て、ホストされているオープンモデルは、コーディング関連作業の約60%において性能的に十分だと私は推測している。
Matan Grinberg, Factory AI CEO
なぜ重要か
- → モデル間の価格差が10〜20倍あるため、インテリジェントルーティングは経済的に極めて重要だ。
- → オープンモデルは現在、コーディング作業の約60%を処理しており、ハイブリッドモデル戦略を可能にしている。
- → ルーティングは必須機能となり、すべてのAIベンダーが提供すると予想される。
スマートルーティングが主流になる