AppleのM5 Ultra搭載Mac Studio、512GBユニファイドメモリでフロンティアモデルを実行
Appleの新しいMac Studioは、最大で36コアCPU、80コアGPU、帯域幅1.2TB/sの512GBユニファイドメモリを搭載し、同社はM3 Ultra比で4.3倍のAI演算性能、M4 Max比で3.9倍のプロンプト処理速度を達成したとしている。真の進化は純粋な計算能力ではなくメモリにある。0.5テラバイトのユニファイドメモリにより、フロンティアクラスのオープンウェイトモデルをデスク上で実行可能になり、RDMA対応のThunderbolt 5で4台をクラスタ化すれば、1台の3倍の推論スループットに達する。価格はM5 Max搭載モデルが2,499ドル、M5 Ultra搭載モデルが5,499ドルからで、9月22日に発売される。すべてのパフォーマンス数値は同社独自のものであり、競合GPUではなく以前の自社製シリコンと比較したものである。
出典： apple.com ↗
Mac Studioは、tokensを数えたり、上昇するcloud costsを心配したりすることなく、ユーザーが大規模なモデルを完全にデバイス上で、プライバシーを完全に保ったまま実行することを可能にする。
Apple
なぜ重要か
- → 512GB unified memoryにより、最先端のLLMが1台のデスクマシンで完全に実行可能になる。
- → 4台のクラスタ化されたMac Studioが、1台よりも3倍速いAI inferenceを実現する。
- → GPU cores内のNeural AcceleratorsがAI compute latencyを劇的に削減する。
大規模なLocal AI