
AMD、AIモデルをシリコンに直接組み込むTaalasを買収
AMDは、2023年創業のトロント発スタートアップTaalasを買収する。同社は単一モデルの重みをメモリから読み出すのではなく、チップのメタル層に直接固定する技術を開発しており、最初の製品ではMetaのLlama 3.1 8Bをユーザーあたり毎秒17,000トークンで実行できるとしている。買収条件は非公開だが、Taalasは設立以来2億1900万ドルを調達していた。NVIDIAがGroqの資産を200億ドルで買収してから7ヶ月、推論用シリコンは新しいモデル向けの柔軟なGPUと、大規模に稼働する少数のモデル向けの固定機能チップという2層に分かれつつある。AMDはTaalasを自社のInstinctおよびHeliosラックのロードマップに組み込む方針だ。
出典: cnbc.com ↗
チップに関して万能なものはない。
Lisa Su, AMD CEO
なぜ重要か
- → 推論用シリコンは、特定機能特化型と柔軟なGPU層に二極化する。
- → AMDはNvidiaと競い、ハードウェアを通じて大規模なモデルを確保しようとしている。
- → カスタムシリコンは1秒あたり1万7000トークンを実現する — 特定のワークロードでは格段に高速だ。
推論の分岐点