NVIDIAがGroq 3 LPXを出荷、10万トークンで3,400トークン/秒
NVIDIAは、Vera Rubin NVL72のラックスケール拡張としてGroq 3 LPXの量産を開始した。Gemma 4 31Bを実行する10万トークンのコンテキストにおいて、3,400出力トークン/秒を達成したとしている。これは単一のエージェントワークロードにおける同社独自の算出基準ではあるものの、Artificial Analysisのベンチマークで次点となるプラットフォームの4倍に相当する。NebiusがAIクラウドとして初めてこれを採用し、CoreWeaveもSpectrum-X Multiplaneを本番環境で稼働させている。これにより、ロングコンテキストのエージェントチェーンにおけるデコードレイテンシは、汎用GPUのみに頼るのではなく、専用シリコンによって処理されることになった。
出典： blogs.nvidia.com ↗
AIエージェントが推論し、ツールを使用し、他のシステムと対話する際、応答を一度に1トークンずつ生成する。これにより、ごくわずかな遅延でも複雑な作業チェーン全体で増幅する。
NVIDIA
なぜ重要か
- → Agentic AIのデコードレイテンシーに専用シリコンが搭載され、長文コンテキストにおける従来のGPUボトルネックが解消された。
- → 100Kコンテキストのワークロードにおいてトークン生成が4倍高速化され、マルチエージェントシステムの経済性と応答性が変化する。
- → Vera RubinとGroq 3 LPXの協調設計は、インフラが汎用型から推論専用型へ移行していることを示す。
デコードレイテンシーに専用シリコン