NVIDIAとHugging Face、オンデバイスロボット制御向け40億パラメータ世界モデル「Cosmos 3 Edge」をオープンソース化
NVIDIAとHugging Faceは、シーンを推論してオンデバイスでロボットのアクションを生成する、オープンな40億パラメータの世界モデル「Cosmos 3 Edge」をリリースした。Jetson Thor上での15Hzの制御において、1回の推論につき32件のアクションを生成し、40億パラメータのモデルの中でVANTAGE-Benchの首位を獲得している。データセンターではなく、メモリに制約のあるエッジハードウェア上で同モデルを稼働させることで、リアルタイムのフィジカルAIをロボットやカメラ自体に実装できるようになる。これにより、NVIDIAのスタックはJetsonシリコンからモデル層にまで拡張される。
出典： huggingface.co ↗
ワールドモデルは、ロボットがこれらの関係性について推論するのを助ける。アクションの視覚的結果を予測したり、変化を引き起こしたアクションを推論したり、望ましい結果を生み出すアクションを生成したりできる。
Nvidia / Hugging Face
なぜ重要か
- → リアルタイムロボット制御をデータセンターからエッジデバイスへ移行させることで、推論の高速化と低遅延化を実現する。
- → 4Bモデルが競合と比較してベンチマークで最先端の成果を達成。オープンソース化によりカスタムファインチューニングが可能になる。
- → ビジョン、推論、アクションを単一モデルに統合。開発者はドメイン固有のタスクに適用できる。
エッジでのPhysical AI