Uber、AT&T、Pinterestがオープンモデル移行でAIコスト最大92%削減
UberはAIリクエストあたりのコストを34%、セッションあたりで52%削減した。AT&TはLiteLLMを経由したルーティングにより、品質低下を2%に抑えつつコストを56%削減している。またPinterestは、自社データでオープンモデルを事後学習させることで、クローズドモデルの8%未満のコストでの運用を実現した。推論サービス上のオープンモデルはフロンティアモデルと比較して2〜20倍安価に実行できる。そのため開発者は、コードの要約やサブエージェントの処理といった単純なタスクをオープンウェイトに割り当て、複雑な生成タスクにフロンティアモデルを温存することが可能になる。
出典： newsletter.pragmaticengineer.com ↗
Openモデルを利用することで、トランザクションあたりのコストを、匹敵するクローズドなプロプライエタリモデルの8%未満で達成している。
Pinterest CEO ウィリアム・レディ
なぜ重要か
- → Openモデルは、品質劣化が最小限でfrontierモデルと比較して2～20倍のコスト削減をもたらす。
- → Uber、Pinterest、AT&Tといった主要プラットフォームは、エンタープライズ規模での本番環境における大規模な実現可能性を実証する。
- → 戦略的なモデルルーティングにより、チームは複雑なタスクのみにfrontierの処理能力を温存できる。
Openモデルが本格化する