MicrosoftのProject Zenith、ローカル 30B+ モデル 推論向け事前構成済みWindows PCを出荷
Microsoftは、64GB以上のユニファイドメモリと250GB/s以上の帯域幅を備えたマシン向けの事前構成済みWindows環境「Project Zenith」を発表した。同環境はまずAMDのRyzen AI Halo向けに提供される。実質的な価値は、ピン留めされたVS Codeのタスクバーではなく、このハードウェア要件にある。要件を満たすハードウェアを使用する開発者は、300億パラメータのコーディングモデルをローカルかつ従量課金なしで実行できる。これにより、日常的なエージェント型のワークロードを従量課金制の雲トークンから切り離し、複雑な課題はフロンティアモデルに処理させることが可能になる。
出典： blogs.windows.com ↗
そのインテリジェンスの一部をエッジに移行することで、我々はトークンエコノミクスを実現し、開発者体験を変革している。フロンティアモデルはフロンティアの問題に取り組み、それ以外のすべてはローカルで大規模に実行される。
Microsoft
なぜ重要か
- → 30B LLMを従量課金のクラウド費用なしでローカル実行する
- → 定型的なAIワークロードをエッジに移行し、難問にはフロンティアモデルを温存する
- → 事前設定済みの開発PCがエージェントワークフローのセットアップの手間を解消する
ローカル優先推論エコノミクス