Meta、コンシューマー向けGPU1基で動く30BのApache 2.0モデル「Muse Glimmer」をリリース
Metaは、ネットワーク通信なしで1基のコンシューマー向けGPUまたはMac上で動作する、300億パラメータのマルチモーダルモデル「Muse Glimmer」をApache 2.0ライセンスでリリースした。エージェントのツール利用とコーディング向けに「Muse Spark 1.2」から蒸留された同モデルは、131Kのコンテキストと100以上の言語に対応し、Hugging FaceにてBF16、GGUF k-quant、ExecuTorch形式で提供される。特筆すべきはそのライセンスだ。この規模でのApache 2.0採用により、ツールを操作するエージェントをローカルハードウェア上で動かすことが可能になり、API利用料は不要で、データがマシンから外部に出ることもない。さらに、マーク・ザッカーバーグは、数週間以内にMuse Spark 1.2の重みも公開すると述べている。
出典： engadget.com ↗
我々はMuse Glimmerを、能力とローカルハードウェアのメモリおよび計算制約とのバランスを取るように設計した。
Meta
なぜ重要か
- → 30B multimodal modelは、ネットワーク呼び出しなしでシングルコンシューマーGPU上で動作し、エージェントのタスクはローカルに留まる。
- → Apache 2.0ライセンスは、ツールを使用するAIにおけるAPI料金とベンダーロックインを排除する。
- → オープンで分散型のAIが、クローズドな商用モデルと同等になりつつあるというシグナルだ。
Superintelligence、ローカルへ