NVIDIAがGroq 3 LPXを量産開始、記録的な毎秒3,400トークン
NVIDIAは、Vera Rubin NVL72プラットフォームの拡張版であるGroq 3 LPXの本格的な量産を開始した。Artificial Analysisは、100,000トークンのコンテキストにおけるGemma 4 31Bのテストで、記録的となる毎秒3,400出力トークンを計測した。Nebiusがこれをいち早く本番環境に導入し、既存と同じAPIを介して同社のToken Factoryプラットフォームで提供する。これは自社所有のラックではなく、レンタルした計算資源上での記録的な生成速度となる。なお、最も近い競合製品と比較して4倍の応答性という数値はNVIDIA独自の主張であり、第三者による測定結果ではない。
出典： nvidianews.nvidia.com ↗
推論はAIの成長エンジンだ。NVIDIA Grace BlackwellとNVL72は、性能と効率における前例のない飛躍によって、大規模言語モデルの推論に革命をもたらした。
Jensen Huang, NVIDIA CEO
なぜ重要か
- → Agentsは数時間ではなく数分で推論ループを完了できる。
- → レイテンシーに敏感なワークロードでは、最も近い代替案よりも4倍高速だ。
- → AIクラウドは今やエージェントシステム向けの本番環境対応インフラを持つ。
超高速Agents