Apple、初の2nmチップ「M6」と512GBメモリ搭載の4ダイ「M5 Ultra」を出荷
M6はApple初の2nmチップであり、12コアCPU、12コアGPU、デュアル16コアNeural Engineを搭載し、AI向けのピークGPU演算性能はM5から約30%向上している。一方、M5 Ultraは4つのダイを単一のプロセッサに結合し、最大80コアのGPU、512GBのユニファイドメモリ、1.2TB/sの帯域幅を備える。真に注目すべきはメモリ容量だ。同社によれば、数千億パラメータ規模のモデルの推論をMac Studio単体で実行でき、GPUクラスターを必要とせずに最先端クラスのローカル推論をデスク上で実現するという。
出典： apple.com ↗
これによりユーザーは、膨大なdatasetを完全にlocal memoryに保存し、tokens-per-secondの速度を上げ、数千億のparameterを持つ大規模なLLMを完全にon deviceで実行できる。
Apple
なぜ重要か
- → 512GB unified memoryにより、最先端のAIモデルをデータセンターではなくデスクトップで動かせる
- → 2nm processは、前世代よりも1ワットあたりのGPU computeを30%向上させる
- → 大規模なlocal inferenceにより、機密性の高いworkloadのcloudへの依存がなくなる
デスクトップ frontier AI