OpenAIとBroadcom、GPU比でコスト約半減の初代推論ASIC「Jalapeño」を発表

OpenAIとBroadcomは、OpenAI初のカスタム推論ASIC「Jalapeño」を発表した。TSMCの3nmプロセスを採用し、8基のHBMスタックを搭載して9カ月で開発された同チップは、初期テストでGPUクラスタを約50%下回る推論コストを示している。このコスト水準が本番環境の規模でも維持されれば、同社のユニットエコノミクスにおける構造的な変化を意味し、本番環境の推論ワークロードにおけるNVIDIA製GPUへの依存を本格的に削減するスタートとなる。

出典： openai.com ↗