415.tech
シリコンバレー発、AIとテックの最前線
AMD、AIモデルをシリコンに直接組み込むTaalasを買収

AMD、AIモデルをシリコンに直接組み込むTaalasを買収

AMDは、2023年創業のトロント発スタートアップTaalasを買収する。同社は単一モデルの重みをメモリから読み出すのではなく、チップのメタル層に直接固定する技術を開発しており、最初の製品ではMetaのLlama 3.1 8Bをユーザーあたり毎秒17,000トークンで実行できるとしている。買収条件は非公開だが、Taalasは設立以来2億1900万ドルを調達していた。NVIDIAがGroqの資産を200億ドルで買収してから7ヶ月、推論用シリコンは新しいモデル向けの柔軟なGPUと、大規模に稼働する少数のモデル向けの固定機能チップという2層に分かれつつある。AMDはTaalasを自社のInstinctおよびHeliosラックのロードマップに組み込む方針だ。

出典: cnbc.com

Xでポストメール

チップに関して万能なものはない。

Lisa Su, AMD CEO

なぜ重要か

  • → 推論用シリコンは、特定機能特化型と柔軟なGPU層に二極化する。
  • → AMDはNvidiaと競い、ハードウェアを通じて大規模なモデルを確保しようとしている。
  • → カスタムシリコンは1秒あたり1万7000トークンを実現する — 特定のワークロードでは格段に高速だ。
推論の分岐点