OpenAIのJalapeño、初ベンチマークでNvidia GB200/GB300超えの電力効率
OpenAIは、同社のカスタム推論チップ「Jalapeño」の初のベンチマーク数値を公開した。Nvidia GB200/GB300システムと比較して、ワットあたりの処理量で1.5〜1.9倍、エンドツーエンドのレイテンシで1.7〜3.6倍の改善、高度なインタラクティブワークロードのパフォーマンスで2.1〜4.1倍の向上を達成したとしており、定格700Wに対して消費電力を550W以下に抑えている。年末までに同社独自のインフラへの導入が開始され、第2世代の開発も進行中である。これにより、少なくとも1つのフロンティアラボにおいて推論の経済性がNvidiaの価格設定から切り離されることになるが、パッケージングとファウンドリの生産能力は依然として深刻なボトルネックとなっている。
出典： latent.space ↗
Jalapeñoは、ピークスループット時でワットあたり1.5～1.9倍の作業量を達成し、エンドツーエンドのレイテンシーを1.7～3.6倍低減、高インタラクティブなワークロードでは2.1～4.1倍の性能向上を実現した。
OpenAI、Jalapeñoベンチマーク結果
なぜ重要か
- → OpenAIのカスタムチップはNvidiaの最速の推論システムを効率とレイテンシーで上回る。
- → 推論の経済性は、最先端の研究機関にとってNvidiaの価格表から離れていく可能性がある。
- → モデル支援型カーネル最適化は、コンパイラの作業をモデル改善のループに統合している。
Nvidiaの支配が緩む