OpenAIのJalapeño、ワットあたり推論性能でBlackwellの1.5〜1.9倍
OpenAIはHot ChipsにおいてJalapeñoの初のベンチマークを公開した。SemiAnalysisのInferenceXを用いたGPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tのテストにおいて、Broadcomが製造した同チップはNvidia Blackwellシステムと比較してワットあたりの処理量が1.5〜1.9倍となり、エンドツーエンドのレイテンシは1.7〜3.6倍改善した。ハードウェア部門トップのRichard Hoは、最先端技術からの大きな進歩だと評価している。この性能向上は、KVキャッシュを含むモデルの状態をローカルに保持し、プレフィルや通信の遅延を削減するフルスタックのデザインによるものだ。ただし、Jalapeñoの出荷は2026年末にごく少量から始まり、本格的な展開は2027年になるため、Blackwellとの比較はすぐに陳腐化する可能性がある。
出典： techcrunch.com ↗
Jalapeñoは単位電力あたりより多くのAIワークを処理でき、同時に応答もより速く返す。
Richard Ho, OpenAIハードウェア責任者
なぜ重要か
- → OpenAIのカスタムチップは、推論効率においてNvidiaの最新チップを1.5～1.9倍上回る。
- → フルスタック設計により、応答時間を遅らせるKVキャッシュのボトルネックを解消する。
- → 2026年という限られた展開期間は、Nvidiaに反復改良のための期間が12ヶ月しかないことを意味する。
カスタムシリコンの逆襲