OpenAIのJalapeñoラックが1.7 exaFLOPS達成、電力効率でGB300超え

OpenAIはHot Chipsにおいて、Broadcomと共同設計した推論アクセラレータ「Jalapeño」の詳細を明らかにした。128基のチップを搭載する同ラックは、1.7 exaFLOPSの4ビット演算性能、27.5TBのHBM4、約2PB/sのメモリ帯域幅を提供する。NvidiaのGB200およびGB300ラックと比較して、キロワットあたりのスループットで1.5倍から1.9倍の向上、エンドツーエンドのレイテンシで1.7倍から3.6倍の低減を達成したとしている。これらの数値はベンダー公表値であり、同シリコンは推論専用である。しかし、最先端AI研究所が2027年に独自のアクセラレータを量産出荷するという事実は、OpenAIの最大のコスト要因がNvidiaの完全な支配下から脱する転換点となる。

出典： theregister.com ↗