Mistral初のロボティクスモデル、単一RGBカメラでマルチセンサーシステムを凌駕

Mistralは、LiDARや深度センサーを使わず、単一のRGBカメラのみで未知の空間において車輪型、脚型、飛行型のロボットを操縦できる8Bモデル「Robostral Navigate」をリリースした。同モデルはR2R-CEのunseenベンチマークで76.6%を記録し、最高性能のマルチセンサーシステムを4.5ポイント上回っている。グラウンディング優先のVLM事前知識とシミュレーションのみのトレーニングにより、コンパクトなカメラ専用モデルが多数のセンサーを搭載したシステムに匹敵できることが示された。これは、物流、配送、ホスピタリティ分野における低コストなロボットへの高度な身体性ナビゲーションの普及を後押しする成果である。

出典： mistral.ai ↗